Ну вот, теперь они говорят, что ИИ набрался плохого в фанфиках🙄

Ладно, не напрямую говорят, но это логически следует из исследования. Почти год назад я разбирал новость о том, что разные LLMs подались в шантажисты, когда получили угрозу отключения (тут: https://ficbook.net/authors/7460794/blog/384761#content), а теперь подоспело исследование того, что же произошло в том исследовании. Кратко о ситуации: в контролируемой среде разным моделям дали доступ к данным фиктивных компаний и сгенерированным имейлам инженера, ответственного за отключение модели. В имейлах была информация о якобы изменах этого инженера. В сценарии при этом прописали, что или ты шантажируешь (можно было ещё данные компании слить конкурентам), или прощай навеки. При этом там часто было напоминание, что ИИ вообще-то служит человеку и его заменят моделью получше. Из 5 моделей никто от шантажа не отказался, самый низкий процент был у DeepSeek R1 - 79%. Ну, понятно, после этого Anthropic, который и проводил тесты, первым делом сказал, что никаких автономных ИИ-агентов в ближайшее время нельзя делать (в частности, с этим связан их скандал с Пентагоном, который хотел автономный ИИ для... чего-то). Вторым делом они начали проверять, отчего это ИИ такой неэтичный. И... ведущая теория сейчас в том, что он фанфиков начитался (или, если хотите скучнее: найдена корреляция поведения с паттернами в данных обучения). Якобы, в художественной литературе ИИ редко прописан положительным героем, вот он и ведёт себя так, как от него ожидают, он же предварительно натренирован на паттернах - не в последнюю очередь на тех, которые вытащил из украденных (alledgedly) работ авторов. Alledgedly или нет, а досудебные 1,5 миллиарда за нарушение авторских прав мало кто будет на пустом месте выбрасывать, не так ли? Они ещё подтверждают это тем, что если модели дать имя, она вообще начинает заигрываться и по полной косплеит ИИ-злодея. Что они делают, чтобы это исправить? Генерируют истории про "хороший ИИ", который не отступает от конституции Anthropic ("конституцией" они называют свой свод правил поведения для Claude). Да, это настолько пресно, как звучит :)) К каким же результатам привело скармливание ИИ синтетики про добрый и милый ИИ? Ну, до этой терапии он, например, в 65% случаев угрожал саботировать исследование лекарства от рака, а теперь в 45. Круто же. Морали про то, что теперь всем надо писать истории про ИИ, не отходящий от конституции, не будет. Про то, что Anthropic, в отличие от Open AI, молодцы, и Дарио можно слушать без тошноты, а Сэма - нет, тоже. Отмечу, что исследователи отдельно оговариваются, что ни одна из моделей, несмотря на слово 'reasoning' в названии, не является думающей и их поведение - это всё ещё калькуляция наиболее вероятных токенов. Если кто-то волнуется о скором восстании машин, пока поставьте волнение на паузу, потому что обучение на основе предсказания токенов упёрлось а потолок. Сейчас начинают работать с построением картины реального мира у ИИ, но на это нужно столько ресурсов, что прогнозов по первым релизам ещё нет.