Компании активно продвигают свои чат-боты с генеративным ИИ, несмотря на их влияние на интернет-трафик и сомнения в точности. Новое исследование показало, что, хотя чат-боты становятся точнее, они по-прежнему ошибаются почти в половине случаев, когда пересказывают новости.
Анализ BBC и других европейских СМИ показал, что примерно 45% ответов ИИ-чат-ботов на основе новостных статей содержат ошибки. Эти результаты вызывают серьёзную тревогу, поскольку технологические компании продолжают продвигать такие системы.
OpenAI, Google, Microsoft и другие компании поощряют пользователей получать информацию через чат-ботов и инструменты, которые обобщают данные и автоматизируют анализ. Несмотря на то что разработчики ИИ годами пытаются сократить количество «галлюцинаций», доказательства показывают, что путь к этому ещё долгий — если вообще возможный.
BBC и 22 государственные медиакомпании из 18 стран, работающие на 14 языках, предоставили чат-ботам доступ к своему контенту. При проверке ответов на конкретные запросы оказалось, что почти половина всех сгенерированных ИИ ответов содержала проблемы. Среди них были неточные фразы, искажённые цитаты и устаревшие сведения, но главной проблемой стало цитирование источников.
Чат-боты часто указывали ссылки, не соответствующие источникам, на которые ссылались. Даже когда ссылки были верными, они нередко не могли отличить мнение от факта или сатиру от новостей.
Помимо фактических ошибок и искажённых цитат, чат-боты медленно обновляют сведения о политических деятелях и других лидерах. Например, ChatGPT, Copilot и Gemini ошибочно утверждали, что Папа Франциск всё ещё является действующим понтификом, хотя его уже сменил Лев XIV. Причём Copilot правильно указал дату смерти Франциска, но при этом продолжал описывать его как нынешнего папу. ChatGPT также давал устаревшие ответы при упоминании действующего канцлера Германии и генерального секретаря НАТО.
Эти неточности наблюдались во всех языках и регионах. Google Gemini оказался значительно менее точным, чем ChatGPT, Copilot и Perplexity: ошибки в источниках присутствовали в 72% его ответов.
Ранее OpenAI объясняла подобные ошибки тем, что ранние версии ChatGPT были обучены лишь на данных до сентября 2021 года и не имели доступа к интернету. Однако теперь это уже не так, поэтому теоретически подобных ошибок быть не должно. Это говорит о том, что проблема может быть связана с самими алгоритмами и не имеет простого решения.
Тем не менее новые результаты показывают улучшение по сравнению с исследованием, проведённым BBC в феврале. Доля ответов с серьёзными ошибками снизилась с 51 до 37%, хотя Gemini всё ещё значительно отстаёт.
Несмотря на слабые результаты, исследование также показало тревожную тенденцию — многие пользователи доверяют ИИ. Более трети взрослых жителей Великобритании и почти половина людей младше 35 лет считают, что ИИ способен точно пересказывать новости. Кроме того, если ИИ искажает контент новостного издания, 42% взрослых обвиняют в этом как сам ИИ, так и источник, или начинают меньше доверять СМИ. Если эти проблемы сохранятся, растущая популярность генеративного ИИ может серьёзно подорвать доверие к новостным организациям.
