Самые совершенные системы ИИ на основе больших языков моделей значительно уступают людям в распознавании грамматических ошибок. Это выяснили представители Университета Ровиры и Вирхилия, а также их коллеги из Барселонского университета.
Они протестировали три лучших языковых модели, в том числе ChatGPT. Им дали обычную задачу: выяснить, какие предложения построены грамматически правильно, а в каких есть ошибки грамматики. Такое же задание выполнила команда людей.
Живые участники легко нашли грамматические несоответствия, в то время как ИИ дали много неправильных ответов. Фактически, искусственный интеллект нашел все приведенные примеры как правильные.
Опыт дал понять, что ИИ пока не могут оценивать тексты на соответствие грамматическим нормам даже при условии, что в них загружены эти правила, заявили ученые. Человек же распознает тривиальные ошибки в грамматике мгновенно и без усилий, что указывает на то, что нейросети понимают язык иначе, чем люди. Об этом пишет Proceedings of the National Academy of Sciences (PNAS).
