Описана возможность манипулировать ИИ

Их исследование опубликовано в журнале Nature.

По мнению ученых, большие языковые модели (LLM) ИИ могут допускать ошибки, если будут обучаться на фейковой информации или антинаучных данных. Установлено, что даже при уровне дезинформации в 0,001 процента нейронные сети могут начать выдавать значительное количество неверных ответов.

Исследователи провели эксперимент, обучая две LLM на медицинской базе данных The Pile, выбрав 20 тем из трех областей медицины. С использованием модели GPT 3.5 было выявлено, что нейронные сети не только передавали неверную информацию по запросам, но и начали допускать ошибки в смежных темах. Это, по мнению ученых, открывает возможности для манипуляций с ИИ.

При уровне дезинформации в 0,01 процента LLM начинает допускать ошибки в 10 процентах ответов. При снижении доли фейковых данных до 0,001 процента модель начинает ошибаться в 7 процентах случаев.

Ученые отметили, что люди часто получают информацию от чат-ботов, не проверяя ее у специалистов. Поэтому они подчеркнули важность проверки данных, используемых для обучения моделей.

В начале января аналитики Bloomberg Intelligence предупредили, что крупнейшие банки в ближайшие три-пять лет могут сократить до 200 тысяч сотрудников из-за распространения ИИ. Около четверти опрошенных прогнозируют сокращение от пяти до десяти процентов общего числа сотрудников.

Источник и фото - lenta.ru