ChatGPT на вопросы по программированию дает 52% неправильных ответов

Чат-боты с искусственным интеллектом, такие как ChatGPT от OpenAI, продаются как революционные инструменты, которые помогут работникам стать более эффективными на своих рабочих местах и, возможно, в будущем полностью заменят этих людей. Но новое исследование показало, что ChatGPT отвечает на вопросы по программированию неправильно в 52% случаев.

Исследование Университета Пердью было представлено в начале этого месяца на конференции по взаимодействию компьютера и человека на Гавайях. В ходе исследования было изучено 517 вопросов по программированию на Stack Overflow, которые затем были переданы в ChatGPT.

«Наш анализ показал, что 52% ответов ChatGPT содержат неверную информацию, а 77% — многословны», — поясняется в новом исследовании. «Тем не менее, участники нашего исследования все равно предпочитали ответы ChatGPT в 35% случаев из-за их полноты и хорошо сформулированного стиля изложения».

Удивительно, но программисты, участвовавшие в исследовании, не всегда улавливали ошибки, допускаемые чат-ботом с искусственным интеллектом.

«В 39% случаев они не замечали дезинформации в ответах ChatGPT», — говорится в исследовании. «Это говорит о необходимости борьбы с дезинформацией в ответах ChatGPT на вопросы по программированию и повышения осведомленности о рисках, связанных с кажущимися правильными ответами».

Разумеется, это всего лишь одно исследование, но оно указывает на проблемы, с которыми может столкнуться любой, кто использует эти инструменты. Крупные технологические компании вливают миллиарды долларов в искусственный интеллект, пытаясь создать самые надежные чат-боты. Meta*, Microsoft и Google участвуют в гонке за доминирование в развивающемся пространстве, которое может радикально изменить наши отношения с интернетом. Но на этом пути стоит ряд препятствий.

Главная из них — ненадежность искусственного интеллекта, особенно если пользователь задает действительно уникальный вопрос. Новый поиск Google на основе искусственного интеллекта постоянно выдает мусор, часто взятый из ненадежных источников. Так, на этой неделе было несколько случаев, когда Google Search выдавал сатирические статьи из The Onion за достоверную информацию.

Со своей стороны, Google защищает себя, утверждая, что неправильные ответы — это аномалия.

«Примеры, которые мы видели, как правило, являются очень редкими запросами и не отражают опыт большинства людей», — заявил представитель Google в начале прошлой недели. «Подавляющее большинство ИИ-ответов предоставляют высококачественную информацию со ссылками, позволяющими дальше перейти в интернет».

Но эта защита, что «необычные запросы» показывают «необычные ответы», несколько смехотворна. Предполагается, что пользователи будут задавать этим чат-ботам только самые обыденные вопросы? Как это возможно для инструментов, которые должны стать революционными?