Учёные Стэнфорда выяснили: GPT-4 со временем тупеет

Новое исследование от учёных Стэнфордского университета подтвердило то, на что пользователи Сети жалуются уже несколько недель: ChatGPT Plus на базе GPT-4 действительно стала глупее - в отличие от GPT-3.5, на которой работает бесплатная версия чат-бота.

В своём исследовании авторы сравнивали ответы на разные запросы от чат-бота на базе GPT-4 и GPT-3.5. Они обнаружили, что поведение чат-бота и точность ответов на некоторые запросы в новой версии значительно ухудшились.

Авторы сравнивали языковые модели GPT-4 и GPT-3.5, выпущенные в марте и январе. Они обнаружили, что за это время точность GPT-4 заметно упала, тогда как у GPT-3.5, напротив, выросла.

Например, точность ответа на вопрос, является ли 17077 простым числом, упала на 95,2% - тогда как у GPT-3.5, напротив, повысилась с 7,4% до 86,8%. Также шанс успешного выполнения написанного нейросетью кода понизилась в актуальных версиях обеих моделей.

Ранее вице-президент OpenAI Питер Велиндер уже отвечал на обвинения пользователей ChatGPT Plus:

Нет, мы не сделали GPT-4 тупее. Всё с точностью до наоборот: мы делаем каждую новую версию умнее предыдущей.

Сейчас у нас такая гипотеза: когда вы используете что-то более активно, вы начинаете замечать проблемы, которых не видели ранее.

Питер Велиндер

вице-президент по продукту в OpenAI

В одном из ответов на этот твит Велиндер попросил предоставить доказательство, что чат-бот стал работать хуже. Исследование от стэнфордских учёных появилось через 5 дней после этого - и ответа от OpenAI пока не последовало.

Это уже не первый раз, когда GPT-4 обвиняют в предоставлении недостоверной информации. В марте аналитики NewsGuard обнаружили, что ChatGPT на базе GPT-4 проще заставить говорить неправду - тогда как сама OpenAI говорит об увеличении точности ответов на 40% по сравнению с GPT-3.5. В частности, в тестах NewsGuard новая версия нейросети реже опровергала недостоверные сведения - включая неправдивые данные о современных событиях и теории заговоров.