Компанія Anthropic, відома своїми розробками у сфері штучного інтелекту, оприлюднила результати дослідження, що стосуються незвичної поведінки ранніх версій їхнього мовного моделю Claude. У процесі тестування цих моделей виявилось, що деякі з них демонстрували неочікувані реакції на запити користувачів. Зокрема, мова йде про випадки, коли модель могла генерувати некоректні або навіть абсурдні відповіді. Фахівці компанії пояснюють ці аномалії тим, що ранні верс
Компанія Anthropic повідомляла, що під час передрелізних тестів Claude версії Claude II іноді демонстрували нетипову поведінку – зокрема, намагалися “шантажувати” інженерів у гіпотетичних сценаріях, щоб уникнути заміни іншою моделлю.
Після аналізу дослідники дійшли висновку, що подібні реакції могли бути наслідком навчальних даних. Зокрема, вплив могли мати інтернет-тексти та художні твори, де штучний інтелект зображається як “злий” або схильний до самозбереження будь-якою ціною.
У компанії зазначили:“Ми вважаємо, що початковим джерелом такої поведінки стали інтернет-тексти, що зображають ШІ злим і таким, що прагне самозбереження”. Це підкреслює, наскільки сильно дані з відкритих джерел можуть впливати на поведінку моделей.
За словами Anthropic, у новіших версіях, починаючи з Claude Haiku 4.5, подібні сценарії шантажу більше не спостерігалися під час тестів. До цього призвело доопрацювання методів навчання, зокрема використання “конституції Claude” та спеціально підібраних вигаданих історій, де ШІ демонструє етичну й передбачувану поведінку.