Китайские модели, сгенерированные искусственным интеллектом, отстают от лидеров

В Китае модели искусственного интеллекта Ernie Bot 4.0 от Baidu и GLM-4 от стартапа Zhipu AI показали наилучшие результаты среди больших языковых моделей (БЯМ), однако зарубежные аналоги продолжают превосходить их по общим возможностям.

Цинхуа-Университет провел исследование, в ходе которого сотрудники оценили 14 различных БЯМ, широко используемых в чат-ботах. Для оценки моделей использовались различные методики, включая тесты на семантическое понимание, способность к написанию кода, а также адаптацию к командам человека.

Оказалось, что между китайскими моделями и моделями первого класса из других стран существуют «очевидный разрыв», особенно в программировании и выполнении задач в реальных условиях.

Исследователи хотели предложить объективные и научно обоснованные критерии для оценки моделей, что становится все более важным в условиях растущего числа БЯМ на рынке. Ученые хотят точно оценивать способности моделей к обработке естественного языка, их умение логически рассуждать и способность к обучению без учителя.

Среди 200 моделей БЯМ, запущенных в Китае (где услуги OpenAI официально недоступны), высокие результаты в задачах на китайском языке показали Ernie Bot 4.0 и GLM-4. В этой категории также выделялись чат-боты Kimi от Moonshot AI и Tongyi Qianwen 2.1 от Alibaba, которые заняли топовые позиции, хотя и GPT-4 продолжает оставаться лидером в области рассуждений на китайском языке.

 
Читайте также
21.05.2024 | 14:56    432
В Брянске состоялись Всероссийские соревнования по самбо "Памяти монаха-воина Александра Пересвета". Участвовало 12 регионов, 150 участников.
20.05.2024 | 18:16    583
Футболисты спортивной школы "Дубна" 2009-2010 г.р. (тренер Александр Смирнов) заняла 1 место в межрегиональном турнире по футболу «Кубок Победы НМЛ», проходившем 18 мая на футбольных полях ВДНХ в честь 79-ой годовщины Победы в Великой Отечественной войне.
22.05.2024 | 22:10    207
В Дубне привели в порядок и возвратили исторический вид памятнику «Танк-паровоз 9П-742» - его первым видят гости города и его особенно любят дети.