Цинхуа-Университет провел исследование, в ходе которого сотрудники оценили 14 различных БЯМ, широко используемых в чат-ботах. Для оценки моделей использовались различные методики, включая тесты на семантическое понимание, способность к написанию кода, а также адаптацию к командам человека.
Оказалось, что между китайскими моделями и моделями первого класса из других стран существуют «очевидный разрыв», особенно в программировании и выполнении задач в реальных условиях.
Исследователи хотели предложить объективные и научно обоснованные критерии для оценки моделей, что становится все более важным в условиях растущего числа БЯМ на рынке. Ученые хотят точно оценивать способности моделей к обработке естественного языка, их умение логически рассуждать и способность к обучению без учителя.
Среди 200 моделей БЯМ, запущенных в Китае (где услуги OpenAI официально недоступны), высокие результаты в задачах на китайском языке показали Ernie Bot 4.0 и GLM-4. В этой категории также выделялись чат-боты Kimi от Moonshot AI и Tongyi Qianwen 2.1 от Alibaba, которые заняли топовые позиции, хотя и GPT-4 продолжает оставаться лидером в области рассуждений на китайском языке.
