Как отличить нейрослоп от текста живого автора (Version 2)

             Что ж, раз моя заметка про нейрослоп за неделю влетела в топ статей, то я решил написать вторую часть, рассказав про отличия нейротекста от слога живого автора на профессиональном уровне. Вторая часть проспонсирована нейро-авторами, которые желают издаваться и стать знаменитыми писателями, выдавая творчество ИИ за своё не привлекая внимание санитаров и криминалистов. Шутка. Шутка же?              Здесь следует сразу сказать, что никакой страшной тайны в том, что я рассказываю нет. На ютубе уже несколько лет есть канал одного западного писателя, который успешно пишет с помощью ИИ и издаётся (ищите сами – ссылку давать не буду). И от него же есть изданная на Амазоне книжка про то как это делать правильно. И есть уже минимум два зарубежных издательства-стартапа, которые издают только тексты сгенерированные ИИ. Так что тут вопрос стоит уже не в плоскости хорошо/плохо или можно/нельзя, а в том, как это делать качественно и умело.              В первой части мы разбирали признаки, которые можно увидеть сразу − логические ошибки, кривые диалоги, типичное для нейронок форматирование текста и тому подобное. Но профессиональный автор (или хотя бы толковый редактор), который гонит текст через нейронку, все эти косяки вычистит за один-два прохода. И, поэтому, для выявления нейрослопа в бумажных романах и топе рейтинга на самиздате, нам понадобится тяжёлая артиллерия.              Что ж, дорогие мои, присаживайтесь поудобнее, заваривайте чай, берите печенюшки и готовьтесь погрузиться в увлекательный мир стилометрии! Стилометрия – это метод статистического анализа текста, основы которого заложил ещё Лоренцо Валла в XV веке, а с тех пор филологи (и не только) успешно «препарировали» с его помощью множество рукописей – от анонимных памфлетистов, до текстов, приписываемых Шекспиру.              Хорошо, здорово, скажете вы – а что это даёт нам, простым смертным авторам и читателям без филологического или математического (теор.вер. /статистика) образования? А даёт это нам то, что многие статистические закономерности видны и невооружённым глазом, если знать, куда смотреть.              1. Перплексия, или предсказуемость текста              Итак, что такое перплексия. Это вероятность того, насколько легко вы можете предсказать авторский текст. Да, речь про всеми нами (не)любимые штампы, клише, типичные речевые обороты и повороты сюжета. Напомню − здесь и сейчас мы говорим не о фанфиках, а о текстах профессиональных писателей, которые издаются в бумаге в красивых подарочных изданиях, возможно, в сериях вроде «Золотой Фонд (чего-то там)».              У автора уже «набившего руку» перплексия обычно скачет. Так что читатель вправе ожидать, что когда парочка героев уединится в номере заняться сексом, то под кроватью будет тикать бомба, а в шкафу сидеть наёмный киллер. Да, может встречаться откровенная халтура, когда автору лень придумывать что-то оригинальное, но нейронка в принципе не способна на резкий «вот это поворот» без прямого указания от человека в промте. Нейронка всегда генерирует наиболее вероятное продолжение, т.к. каждое следующее слово у неё − статистический фаворит. И, если, читая роман, вы с точностью до абзаца предсказываете, что будет дальше − это звоночек.              2. Ритмическая монотонность              Это, пожалуй, самый надёжный маркер из тех, что можно уловить без специального софта. Профессиональный автор варьирует длину предложений интуитивно: в экшн-сцене − короткие рубленые фразы, в лирическом отступлении − длинные, многослойные конструкции с придаточными. Причём переход между режимами у живого автора резкий, как переключение передач: абзац назад было 8 слов на предложение, сейчас 35, а через два абзаца снова 10.              Нейронка же пишет «на круиз-контроле». Если замерить длину предложений по тексту и построить график, у живого автора получится кардиограмма − с пиками, провалами и аритмией. У нейронки − почти прямая линия с минимальным разбросом. Темп повествования ровный, как пульс покойника.              Кстати, при наличии времени и желания, это легко проверить самостоятельно − скопируйте пару страниц текста в любой текстовый редактор и посчитайте слова в каждом предложении. Если разброс минимальный − перед вами, скорее всего, нейрослоп, прошедший «причёсывание», даже не рерайт от автора.              3. Лексическое разнообразие (type-token ratio)              Звучит страшно, но суть проста: сколько уникальных слов использует автор на тысячу слов текста. У живого писателя этот показатель: а) выше и б) неравномерен − в диалоге бандитов будет одна лексика, в монологе профессора − другая, в закадровой авторской речи − третья. Нейронка же страдает тем, что я называю «синдромом любимых слов». У каждой модели есть набор лексических «костылей», на которые она опирается раз за разом. Это те самые статистические фавориты − усреднённые, «нейтральные» слова, которые чаще всего встречались в обучающей выборке.              Так что, если в тексте романа на каждой третьей странице кто-то «нахмурился», «кивнул», «вздохнул» и «сжал кулаки» − причём во всех сценах, от светского раута до космического сражения − это не бедный словарный запас автора (хотя бывает и такое), а характерный паттерн генерации. Живой автор тоже может грешить повторами, но у него повторяются другие слова − его личные слова-паразиты, привычки, любимые конструкции.              Хотите экспресс-тест? Закиньте текст в любой сервис подсчёта частотности слов (их полно бесплатных) и посмотрите топ-50 самых частых слов за вычетом предлогов и союзов. Если топ выглядит как набор шаблонов − у вас есть повод задуматься.              4. Синтаксический монотон              Это то, что сложнее всего объяснить на пальцах, но легко почувствовать при чтении. Каждый живой автор строит предложения по-своему: кто-то любит инверсии, кто-то − вводные конструкции, кто-то начинает каждое третье предложение с деепричастного оборота (привет, Толстой). Это и есть авторский синтаксис − «скелет» стиля, который остаётся, даже если содержание поменять полностью.              У нейронки синтаксис стандартный: «подлежащее − сказуемое – дополнение», «подлежащее − сказуемое – дополнение», иногда для разнообразия обстоятельство (где? как? когда?) выносится вперёд. Структура предложений повторяется с механической регулярностью. Это как если бы все здания в городе были разного цвета и размера, но построены строго по одному типовому проекту − на фотографии выглядит красиво, а поживёшь в таком пару недель и тошнит от однообразия.              Для живого автора синтаксис − это интонация. Когда Хемингуэй пишет короткими, рублеными фразами − это не потому, что он не умеет иначе, а потому что он так слышит мир. Когда Набоков закручивает предложение на полстраницы − это не многословие, а архитектура. У нейронки же нет «слуха» − есть статистика, и эта статистика тяготеет к среднему.              5. Фантомные знания и галлюцинации              Этот пункт специфичен для текстов, где автор оперирует фактами − от исторических романов / альтхистори до научной фантастики с претензией на hard sci-fi. Нейронка умеет звучать невероятно убедительно, при этом неся полную ахинею. Она может сослаться на несуществующее исследование, процитировать книгу, которую никто не писал, или уверенно назвать дату сражения, которого не было.              Живой автор тоже может ошибаться (и ещё как!), но его ошибки − другого рода. Он перепутает дату, неправильно запомнит цитату, спутает два похожих события. Нейронка же не «путает» − она выдумывает с нуля, причём так уверенно, что без гугла не отличишь. Если в тексте романа встречается подозрительно точная, красиво звучащая деталь (название конкретного исследования, имя малоизвестного исторического деятеля, технический термин из узкой области) − не поленитесь проверить. Если деталь оказалась фантомной − поздравляю, вы нашли след нейронки, который не вычистит никакой редактор, если он сам не полезет перепроверять каждый факт.              6. Отсутствие культурного контекста              Любой живой автор живёт не в вакууме, а во взаимодействии с окружением и коллегами. Он читает других авторов, спорит с ними (иногда мысленно, иногда прямо в тексте), делает аллюзии, пародирует. Пратчетт полемизировал с Толкином. Лем − с «золотым веком» американской фантастики. Пелевин − со всей русской классикой разом. Эти связи возникают органически, потому что автор − часть культуры, а не внешний наблюдатель.              Нейронка может вставить отсылку − если попросить. Но органической интертекстуальности у неё нет. Она не спорит, не полемизирует, не ведёт диалог с традицией. Если в тексте романа есть эпиграф от Брэдбери, а дальше − ни одной аллюзии, ни одного момента, где чувствуется, что автор что-то читал у этого автора и имеет по этому поводу своё мнение − это либо очень начинающий автор, который поставил эпиграф для красоты, либо нейронка, которой эпиграф воткнули в промт.              7. Эффект «усреднения», или почему нейрослоп − это всегда крепкий середняк              И вот, пожалуй, главное. Всё вышеперечисленное сводится к одному фундаментальному свойству: нейронка генерирует текст, максимально приближённый к статистической норме обучающей выборки. Это значит, что нейрослоп никогда не будет по-настоящему ужасным (как бывает у совсем начинающих авторов) − но никогда не будет и по-настоящему блестящим. Это вечный крепкий середнячок − грамотный, ровный, читабельный и абсолютно никакой.              Творческий человек − это всегда маятник от одной крайности к другой. Хороший живой автор – стремится к совершенству (когда не борется с депрессией, выгоранием и личностными кризисами). Плохой – к финальной катастрофе. Но и тот, и другой − живые: они экспериментируют, пробуют что-то новое, ошибаются и учатся (в меру своей гениальности / упоротости) . Нейронка же − это строгая середина гауссовой кривой. Если текст каждого романа в серии вызывает ощущение «ну, с пивом потянет, но я через час не вспомню ни одной фразы» − и при этом в нём нет ни одной сцены, которая пробирала бы до дрожи и пробивала на эмоции, слёзы, сопереживания героям − это повод задуматься, кто (или что) его написал.              Conclusiones logicae II              Если в первой части у нас был чек-лист для быстрой проверки «на глазок», то здесь − набор более глубоких критериев, которые сложнее подделать. Предсказуемость сюжета, монотонный ритм, бедный и однообразный словарь, шаблонный синтаксис, отсутствие культурного контекста и общее ощущение «крепкого середняка без лица» − вот портрет профессионально вылизанного нейрослопа. Каждый из этих признаков по отдельности может встретиться и у живого автора. Но если вы нашли четыре-пять из семи − скорее всего, перед вами текст, в котором нейронка сделала основную работу, а человек лишь прошёлся сверху с тряпочкой и полиролем.              К слову, современные детекторы ИИ-нейрослопа ошибаются примерно в 20−40% случаев, принимая ИИ-текст, отредактированный профессиональным редактором или писателем, за авторский. Собственно, из-за этого (и кучи исков, по слухам) OpenAI и закрыла свой собственный детектор. Так что нынче профессиональный писатель, зная особенности ИИ-слога, вполне может «причесать» нейрослоп и выдать за свой авторский текст, так что обратное уже почти не докажешь. Другое дело, стоит ли рерайт после нейронки затраченного времени и усилий? Ну тут каждый пусть сам для себя решает.              P.S. Для тех, кто хочет разобраться в теме самостоятельно могу порекомендовать для начала отличную книжку «Промт-инжиниринг для GenAI. Паттерны надёжных запросов для качественных результатов» за авторством Джеймса Феникса и Майка Тейлора. Книга написана простым понятным языком и легко читается, даже если вы не IT-специалист и у вас нет профильного технического образования. А потом уже и в айтишечку можно с ноги врываться на позицию «Prompt Engineer» XDD