Новый рейтинг языковых моделей: GPT-5 лидирует, но есть нюансы

Сайт Lmarena опубликовал обновленный рейтинг языковых моделей, который привлек внимание благодаря детальному анализу различных версий GPT-5. Топ, составленный на основе пользовательских оценок, показывает, что GPT-5-high продолжает лидировать, хотя и уступает предыдущей версии в некоторых тестах.

Рейтинг Lmarena формируется на основе системы двойных анонимных ответов на вопросы, позволяя пользователям оценить качество различных моделей. В результате, GPT-5-high, предлагающий расширенные возможности рассуждений на максимальных настройках, опережает Gemini 2.5 Pro от Google. При этом, версия GPT-5-medium, доступная через подписку ChatGPT Plus, демонстрирует лишь незначительное отставание по результатам бенчмарков.

Однако, стоит отметить, что отдельные модели показали себя в разных областях. GPT-5-chat, разработанная для быстрых ответов в формате чат-бота, уступает GPT-4o в сложных многоэтапных диалогах, задачах по созданию текстов, программированию и обработке длинных запросов. В математических задачах и следовании инструкциям GPT-5-chat показывает лучшие результаты. Кроме того, исследование выявило существенную разницу в уровне владения русским языком между GPT-5-chat и GPT-4o: 1418 баллов против 1441.

Недавно Google представила легкую ИИ-модель, оптимизированную для устройств с ограниченными ресурсами.