Шестнадцать сервисов из восемнадцати написали «на крупной тёрке». Я не просил тереть морковь: в задании стояло сухое «подготовить овощи». Но восемнадцать разных нейросетей независимо друг от друга выдали одну и ту же кулинарную формулу — как будто списывали.
Это побочный результат эксперимента, который я затевал ради другого вопроса: чей текст меньше похож на машинный. Восемнадцать сервисов, два одинаковых задания, 36 текстов на разбор.
Лучший результат у Meta AI — 31 балл. Худший у Mistral — 74. Чем ниже балл, тем меньше в тексте машинных маркеров.
Но главное я узнал не из рейтинга. Мой детектор в первом прогоне штрафовал сервисы за то, что я сам от них потребовал: за рубрикацию, которую задал в ТЗ, и за отсутствие цифр, которое там же и запретил выдумывать. Пришлось выбросить расчёт и начать заново.
Все данные открыты — можете пересчитать и поспорить.
Таблица с разбором ·
Таблица с расчётами ·
36 исходных текстов
Что этот балл не значит. Это не детектор происхождения текста и не вероятность того, что его написал ИИ. Все 36 текстов заведомо созданы нейросетями. Шкала показывает, насколько сильно текст выдаёт машинный способ письма по признакам, которые я выбрал.
Какая нейросеть пишет человечнее: рейтинг 18 сервисов
Человечнее всех в этом эксперименте пишет Meta AI: 31 балл ИИ-стиля из 100. Второе место у GigaChat (36.8), третье у Claude (42.2). Больше всего машинных маркеров нашлось у Mistral (74), LongCat (73.2) и Duck.ai (71.2). Балл считается по двенадцати категориям признаков: чем он ниже, тем меньше текст выдаёт машинный способ письма. Разрыв между первым и последним местом — 43 балла.
Meta AI выиграла не красотой слога. Она дала на вопросы задания развёрнутые ответы: назвала диапазон диаметров, порядок цен, ожидаемую погрешность. Mistral на том же месте поставил таблицу сравнения, где во всех ячейках стоят слова «Высокая» и «Низкая», — читателю это не помогает выбрать инструмент.
Разрыв в три-пять баллов между соседними позициями не стоит считать устойчивым превосходством: у каждого сервиса был только один ответ на задание. Смотрите на группы, а не на точное место.
Что общего оказалось у 36 текстов
Одни и те же фразы у разных сервисов: «на крупной тёрке» у 16 из 18
| Фраза | Сколько сервисов из 18 |
|---|---|
| «на крупной тёрке» | 16 |
| «соль по вкусу» | 13 |
| «говядина на кости» | 12 |
| «убавьте огонь до минимума» | 12 |
| «залейте холодной водой» | 11 |
| «добавьте лавровый лист» | 11 |
| «нарежьте тонкой соломкой» | 9 |
Тёрка из первой строки — только вершина списка. «Соль по вкусу» написали тринадцать сервисов, «убавьте огонь до минимума» — двенадцать, «говядина на кости» — тоже двенадцать. Ни одной из этих формулировок в задании не было: сервисы от разных компаний воспроизвели их независимо друг от друга.
Совпадение объясняется одной из трёх причин: пересекающиеся обучающие данные, устойчивый жанровый шаблон рецепта или похожая настройка на выполнение инструкций. Разделить их вклад этот эксперимент не позволяет, и делать вид, что позволяет, я не буду.
Отдельно любопытно другое. Сервисы переносят формулировки задания в текст дословно: «добавить картофель и капусту» написали 17 из 18. Само по себе это не улика — копирайтер тоже пишет по структуре заказчика. Но масштаб показывает, насколько сильно бриф задаёт итоговый стиль. Хотите других текстов — меняйте не только сервис, но и формулировку задания: один шаблон промпта сближает даже разные ответы.
Все семь улик — из рецепта. В справке о гидронивелире таких фраз нет, и это не потому, что сервисы там писали свободнее. Совпадения в справке есть: «один конец шланга» у восьми сервисов, «уровень воды в» у десяти. Но всё это диктует сама тема. Гидронивелир — сообщающиеся сосуды, шланг и вода; про них нельзя написать иначе.
Первую версию таблицы я собрал скриптом, который искал дословные совпадения с текстом задания. Фраза «шланг должен быть» встретилась у одиннадцати сервисов, в тексте ТЗ дословно не нашлась — и попала в улики. А задание требует раздел «длина и диаметр шланга»: сервисы просто отвечали на вопрос. Ту же ошибку, которой посвящена половина статьи, я повторил на уровне фраз. Строку убрал.
Тридцать пять текстов из тридцати шести — без единого вопроса
Только DeepSeek спросил читателя: «зачем возиться с водой и шлангами, если есть лазер?» Два вопроса на весь текст. Остальные 35 текстов не содержат ни одного вопросительного предложения.
Нужна оговорка. В исследовании аргументативных текстов (Bakhshi, препринт 2026) люди в среднем использовали около пяти риторических вопросов на документ, а языковые модели — 2.28. Но там корпус аргументативных текстов, а у меня инструкция и рецепт. Прямое сравнение не работает.
И всё-таки полное молчание всей выборки — заметная штука.
Совета «добавьте вопросов, и текст оживёт» я не дам. Вопрос, вставленный ради галочки, читается шаблоннее его отсутствия.
Все писали один борщ — и всё равно разошлись
Восемнадцать сервисов готовили один борщ из одного набора продуктов. Ближе всех сошлись Алиса и Grok: 0.777 по косинусному сходству, где 1 — это дословно один и тот же текст, а 0 — ни одного общего слова. Дальше всех разошлись Hugging Face и Perplexity, 0.550. Свёклу и капусту писали все, а вот насколько тексты совпадают помимо продуктов, сервисы решали по-разному.
Сравнивать это со справками я не стану, хотя цифры просятся: 0.690 против 0.591. Разницу создали не сервисы, а борщ. Свёкла, капуста, картофель, бульон — словарь задан самим блюдом, и косинус на мешке слов обязан его поймать. Справка о гидронивелире тоже задаёт свои слова — шланг, вода, уровень, — но их меньше, и на восьми разделах текст успевает разойтись. Вывод «жанровый канон стирает разницу между моделями» я снял: он описывает свойство метрики, а не поведение сервисов.
Как считал: мешок слов, стоп-слова убраны, частоты нормированы на длину, лемматизации нет. В расчёт входили заголовки, структуру задания я из текстов не вычитал — значит, часть сходства объясняется самим промптом. Среднее считалось по уникальным парам без диагонали. Полные матрицы 18×18 — в таблице с расчётами.
Тепловая карта: сходство рецептов между собой (косинус). Чем ярче ячейка, тем ближе тексты друг к другу. Прокрутите таблицу вбок: названия сервисов остаются на месте.
| Алиса | ChatGPT | Claude | Copilot | DeepSeek | Duck.ai | Gemini | GigaChat | Grok | HugFace | Kimi | LongCat | Meta | MiniMax | Mistral | Perplexity | Qwen | Z.ai | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Алиса | .744 | .753 | .742 | .701 | .719 | .705 | .678 | .777 | .608 | .759 | .752 | .771 | .677 | .743 | .688 | .744 | .741 | |
| ChatGPT | .744 | .752 | .758 | .69 | .726 | .7 | .666 | .756 | .645 | .717 | .73 | .701 | .634 | .696 | .743 | .71 | .716 | |
| Claude | .753 | .752 | .734 | .725 | .702 | .704 | .66 | .757 | .618 | .738 | .752 | .748 | .648 | .701 | .655 | .734 | .714 | |
| Copilot | .742 | .758 | .734 | .687 | .732 | .671 | .603 | .757 | .584 | .734 | .705 | .733 | .643 | .769 | .748 | .737 | .689 | |
| DeepSeek | .701 | .69 | .725 | .687 | .69 | .703 | .666 | .713 | .605 | .733 | .721 | .725 | .597 | .682 | .627 | .708 | .661 | |
| Duck.ai | .719 | .726 | .702 | .732 | .69 | .644 | .58 | .687 | .555 | .676 | .698 | .73 | .638 | .723 | .708 | .702 | .667 | |
| Gemini | .705 | .7 | .704 | .671 | .703 | .644 | .7 | .688 | .607 | .711 | .71 | .687 | .593 | .675 | .627 | .707 | .689 | |
| GigaChat | .678 | .666 | .66 | .603 | .666 | .58 | .7 | .657 | .615 | .671 | .687 | .667 | .599 | .627 | .581 | .676 | .663 | |
| Grok | .777 | .756 | .757 | .757 | .713 | .687 | .688 | .657 | .61 | .754 | .729 | .768 | .657 | .759 | .712 | .718 | .736 | |
| HugFace | .608 | .645 | .618 | .584 | .605 | .555 | .607 | .615 | .61 | .661 | .605 | .594 | .724 | .586 | .55 | .621 | .608 | |
| Kimi | .759 | .717 | .738 | .734 | .733 | .676 | .711 | .671 | .754 | .661 | .734 | .742 | .655 | .754 | .678 | .741 | .72 | |
| LongCat | .752 | .73 | .752 | .705 | .721 | .698 | .71 | .687 | .729 | .605 | .734 | .735 | .619 | .707 | .689 | .728 | .719 | |
| Meta | .771 | .701 | .748 | .733 | .725 | .73 | .687 | .667 | .768 | .594 | .742 | .735 | .653 | .753 | .652 | .75 | .755 | |
| MiniMax | .677 | .634 | .648 | .643 | .597 | .638 | .593 | .599 | .657 | .724 | .655 | .619 | .653 | .647 | .609 | .665 | .62 | |
| Mistral | .743 | .696 | .701 | .769 | .682 | .723 | .675 | .627 | .759 | .586 | .754 | .707 | .753 | .647 | .698 | .728 | .674 | |
| Perplexity | .688 | .743 | .655 | .748 | .627 | .708 | .627 | .581 | .712 | .55 | .678 | .689 | .652 | .609 | .698 | .651 | .663 | |
| Qwen | .744 | .71 | .734 | .737 | .708 | .702 | .707 | .676 | .718 | .621 | .741 | .728 | .75 | .665 | .728 | .651 | .72 | |
| Z.ai | .741 | .716 | .714 | .689 | .661 | .667 | .689 | .663 | .736 | .608 | .72 | .719 | .755 | .62 | .674 | .663 | .72 |
Сравнить это с человеческим уровнем я не могу: контрольной группы людей в эксперименте нет. Поэтому не скажу, что 0.777 означает «практически один текст». Восемнадцать человек, которым дали тот же рецепт, возможно, сошлись бы теснее.
Особняком от остальных держатся Hugging Face (0.612 в среднем по рецепту) и MiniMax (0.640). Но низкое сходство и оригинальность — разные вещи. GigaChat выделяется содержанием: у него сырая картофелина против пересола и приём «имитируя удар хлыстом» для выгона воздуха из шланга. Duck.ai выделяется тем, что пустой.
Один сервис — два разных стиля
Один и тот же сервис пишет по-разному, потому что жанр включает и гасит машинные привычки. Объяснительный текст провоцирует рубрикацию, обобщения и риторику; инструкция требует цифр и коротких команд — и те же привычки исчезают. У 15 сервисов из 18 справка получила больший балл, чем рецепт: средние 57.6 против 53.3.
Рекордсмен — Z.ai. Справка 62, рецепт 41. Двадцать один пункт разницы у одного движка.
Причина видна в цифрах. В справке Z.ai выдал 3.99 интенсификатора на 500 слов: «предельно проста», «безоговорочная победа за лазерным уровнем», «в разы дешевле». В рецепте — 0.79. Тот же сервис, два разных голоса. То же у Hugging Face (55.5 против 43) и Perplexity (71 против 61).
| Сервис | Справка | Рецепт | Разрыв |
|---|---|---|---|
| Z.ai | 62 | 41 | 21 |
| Hugging Face | 55.5 | 43 | 12.5 |
| Perplexity | 71 | 61 | 10 |
| Duck.ai | 75 | 67.5 | 7.5 |
| MiniMax | 56 | 49 | 7 |
| Алиса | 57.5 | 50.5 | 7 |
| Copilot | 62 | 68 | 6 |
| GigaChat | 39 | 34.5 | 4.5 |
| DeepSeek | 47 | 51.5 | 4.5 |
| Kimi | 54.5 | 50 | 4.5 |
| Meta AI | 33 | 29 | 4 |
| ChatGPT | 57.5 | 54 | 3.5 |
| Gemini | 54.5 | 58 | 3.5 |
| LongCat | 74.5 | 72 | 2.5 |
| Qwen | 48.5 | 46.5 | 2 |
| Mistral | 75 | 73 | 2 |
| Claude | 43 | 41.5 | 1.5 |
| Grok | 71.5 | 70 | 1.5 |
Считать, что сервис всегда пишет одинаково человечно, нельзя. Результат зависит от жанра и конкретного задания.
Средний разрыв между справкой и рецептом по выборке невелик — 4.3 балла, — но у отдельных сервисов он доходит до 21 пункта. Для сравнения: расстояние между первым и последним местом рейтинга — 43 балла. Выбор сервиса всё ещё важнее жанра, но полагаться на один прогон в одном жанре не стоит.
Как проходил эксперимент
Восемнадцать сервисов, два промпта, новый чат под каждый запрос, один ответ на задание. Никаких повторных прогонов и выбора лучшего из нескольких попыток. Июль 2026 года.
Оба задания были жёсткими. Я задал структуру заголовками, объём в знаках и запреты. В справке о гидронивелире отдельной строкой стояло: «Не придумывай характеристики, нормативы и числовые значения, в которых не уверен». В рецепте: «Не добавляй вымышленные факты, длинную историю блюда и лишние рассуждения». Оба промпта запрещали комментировать процесс написания.
Эта жёсткость и подвела мой детектор: половину того, за что он штрафовал сервисы, я прописал в задании сам.
Как работает мой детектор ИИ-стиля
Балл ИИ-стиля — это оценка от 0 до 100, показывающая, насколько сильно текст выдаёт машинный способ письма. Он складывается из взвешенной суммы двенадцати категорий признаков и оценки отдельного LLM-судьи по той же шкале. Балл не определяет авторство: все 36 текстов эксперимента заведомо написаны нейросетями.
Часть показателей считает скрипт: интенсификаторы на 500 слов, триколоны на документ, разброс длин предложений, плотность цифр на 1000 слов, модальные хеджи. Все величины нормированы на длину — иначе длинный текст автоматически оказался бы «машиннее» короткого.
Дальше LLM-аналитик присваивает каждой категории одну из пяти оценок: 0, 0.25, 0.5, 0.75 или 1.0. Жёсткой шкалы вида «два интенсификатора равны половине балла» у меня нет. Это экспертная калибровка по референсным порогам — и да, это ограничение метода.
| Категория | Вес | Что ловит |
|---|---|---|
| Структурные маркеры | 0.126 | рубрикация сверх задания, финал-пересказ |
| Морфология | 0.105 | сбои словоформ |
| Синтаксические связи | 0.105 | плоские регулярные конструкции |
| Части речи | 0.105 | перекос в усилители |
| Информационная плотность | 0.095 | триколоны, шаблонная риторика |
| Эмоция | 0.095 | смягчение там, где факт твёрдый |
| Поверхность | 0.095 | ровный ритм, артефакты генерации |
| Психолингвистика | 0.084 | отсутствие живого опыта |
| Семантика | 0.074 | уклонение от конкретики |
| Лексическое разнообразие | 0.053 | равномерно «богатый» словарь |
| Именованные сущности | 0.042 | проверяемые числа и названия |
| Читаемость | 0.021 | сложность против аудитории |
Балл формулы — сумма произведений веса на оценку, умноженная на 100. Итоговый балл ИИ-стиля — среднее между формулой и оценкой отдельного LLM-судьи.
Пороги, по которым выставляется оценка
Оценку категории задаёт сверка с референсными порогами. Три из них измерены на больших выборках, четвёртый — эвристика, и я это помечаю прямо в таблице.
| Показатель | Машина | Человек |
|---|---|---|
| Триколоны на документ | 7.13 | 3.73 |
| Риторические вопросы на документ | 2.28 | 5.55 |
| Плотность цифр | ×1 | примерно ×10 |
| Разброс длин предложений (CV) | ниже 0.3 | выше 0.5 |
Первые два порога измерены на 225 аргументативных текстах объёмом 600 тыс. токенов, p < 0.001 (Bakhshi, 2026). Плотность цифр — на 52 305 русских научных аннотациях (AINL-Eval, 2025). Разброс длин предложений — эвристика: направление подтверждено (Desaire и др., 2023), но сами числа 0.3 и 0.5 никем не измерены, и выдавать их за факт я не буду.
Плотность цифр — мой любимый порог. Русские авторы научных аннотаций вставляют в текст примерно в десять раз больше чисел, чем LLM. Не потому, что машина не умеет считать: она избегает конкретики, за которую придётся отвечать. Duck.ai в справке об измерительном приборе выдал 4.6 цифры на тысячу слов. В этой статье — 84.
Кто такие судьи
Это не люди. Судьи — LLM-агенты (Claude Opus). Каждый получал ровно три текста, единую шкалу с якорями и требование приводить дословные цитаты. Метрик, оценок формулы и работы друг друга они не видели. Как я собираю такие пайплайны из агентов, я разбирал в отдельной статье про Claude Code.
Теперь неудобные подробности, которые я обязан назвать сам, пока их не назвали в комментариях.
Каждый текст оценивался один раз. Межоценочное согласие во втором прогоне я не измерял. В первом прогоне на каждый текст приходилось по два агента, и корреляция Спирмена между их оценками составила 0.37 по 36 текстам — то есть согласие оказалось низким.
Названия сервисов агенты видели: файлы назывались alice.txt, grok.txt. Оценка слепая к цифрам, но не к бренду.
И самое щекотливое: оценщик Claude Opus принадлежит к той же экосистеме, что один из участников рейтинга. Влияние этого совпадения я не проверял.
Формула и судьи — две отдельные процедуры оценки, а не два независимых метода. Обе опираются на LLM.
Формула и судья спорят между собой
Итоговый балл — среднее двух процедур, и они сходятся плохо. Средняя разница между баллом формулы и баллом судьи по 36 текстам — 12.4 пункта, медианная — 8.5. Максимум — 32 пункта на одном тексте.
| Текст | Формула | Судья | Разница |
|---|---|---|---|
| LongCat, рецепт | 56 | 88 | 32 |
| Grok, рецепт | 55 | 85 | 30 |
| Mistral, рецепт | 58 | 88 | 30 |
| Qwen, рецепт | 46 | 47 | 1 |
Судья оказался строже формулы в 25 случаях из 36. Смещение объяснимо: формула считает то, что поддаётся счёту, — триколоны, хеджи, разброс длин. Судья читает текст целиком и реагирует на то, чего счётчик не видит: на общую предсказуемость хода мысли, на бодрый тон инструкции, на ощущение, что абзац можно было не читать. По счётным признакам LongCat и Mistral держатся в середине выборки, а судья ставит обоим 88.
Что с этим делать читателю: там, где две процедуры разошлись на тридцать пунктов, их среднее не доказывает ничего. Итоговый балл LongCat 73.2 не означает «текст на 73% машинный». Он означает, что формула насчитала 58.5, судья — 88, и я не знаю, какая из них права.
Откуда взялся подход
Отправной точкой был AI Detect от DrMax — промпт для детекции по лингвистическим маркерам. Логика там та же, что у меня: считать признаки, а не гадать.
Дальше я его переделал. Исходная версия выдаёт процент на любом тексте: хоть на двух абзацах, хоть на русском по английским формулам. Я поставил четыре стоп-условия, до которых балл вообще не считается.
- Короче 100 слов — процента нет. На фрагменте в сорок слов детекторы угадывают на уровне монетки. Вместо числа — перечень маркеров.
- Русский текст — только русские формулы. Шкала Флеша считает слоги по-английски, а русское слово длиннее. Прогнал по ней нормальный лонгрид — он вышел «недопустимо простым». Читаемость считаю по FKG_ru, словарное разнообразие — по леммам, иначе падежи сами по себе накручивают уникальность вдвое.
- Выше 60% — обязательная оговорка. Это оценка стиля, а не доказательство происхождения. Семь коммерческих детекторов на эссе неносителей английского дали 61% ложных срабатываний (Liang и др., Patterns, 2023). Формальный, юридический и просто сухой человеческий текст детектор бьёт по построению.
- Текст правил человек после машины — балл бессмыслен. Детектор меряет выражение, а не происхождение. Тут я говорю о профиле маркеров, но не о проценте.
Три правила исходника пришлось развернуть. Первое — про хеджи: считалось, что машина осторожничает реже человека. Оказалось наоборот. Разговорных «наверное» и «вроде» у неё правда меньше, а вот модальных («может», «следует», «как правило») — на 4–55% больше нормы. Ловить надо не количество, а несоответствие: хедж на твёрдом факте.
Второе — богатство словаря через TTR. Метрика падает с длиной текста по закону Хипса, поэтому лонгрид автоматически выглядит беднее заметки. Выбросил, заменил на MTLD и MATTR.
Третье — правило «главное в первое предложение абзаца». По разбору 1,2 млн ответов ИИ-поисковиков (Indig) из абзаца цитируется середина: 53% случаев против 24.5% у первой фразы. Front-loading работает на уровне страницы, а не абзаца.
Ещё я добавил три маркера, которых в исходнике не было: дефицит риторических вопросов, сигнатурную лексику и гомоглифы (латинская «а» внутри русского слова — след попытки обойти детектор). Триколон поднял до сильнейшего признака: у машин 7.13 тройных перечислений на документ против 3.73 у людей. Кластеры длинного тире, наоборот, понизил — они выдают вендора, а не машину: у Llama их ноль, а человеческий диапазон перекрывает модельный.
Своего в этой сборке два: поправка на задание, о которой рассказываю ниже, и отдельная LLM-оценка поверх формулы. Матрица весов — из моей прежней методики, на этих 36 текстах она не обучалась. Никакой сторонней организации за ней нет: это авторская эвристика, и называть её иначе было бы приукрашиванием.
Ошибка первого расчёта
Первый прогон я закончил довольным. Рейтинг сошёлся, цифры выглядели солидно, топ-5 машинных сервисов не вызывал вопросов.
Потом я перечитал собственное ТЗ.
Детектор штрафовал сервисы за рубрикацию — а я сам задал заголовки списком. Штрафовал за финальный раздел с выводом — который сам же и потребовал. Штрафовал за блок советов и нумерацию шагов, прямо прописанные в задании.
Дальше хуже. Одним из заметных маркеров у меня была числовая пустота: справка об измерительном инструменте без единой цифры. А промпт прямым текстом запрещал выдумывать нормативы. Получается, Perplexity, Hugging Face и Алиса, не давшие ни одного числа, могли честно исполнять инструкцию — и получили за это высокий балл ИИ-стиля.
Мой детектор наказывал тексты за то, что требовало задание.
Судьи первого прогона добавили: они ТЗ вообще не видели и тоже снимали баллы за структуру. Прогон пришлось выбросить целиком и переоценить все 36 текстов заново — на этот раз с заданием на руках.
Можно ли верить детектору ИИ
Стилевому детектору нельзя верить без брифа. Он измеряет структуру и лексику, а структуру и лексику задаёт задание. Цена такой слепоты видна на Hugging Face: с 67 баллов он опустился до 49.2, то есть ошибка составила 17.8 пункта на одном сервисе — достаточно, чтобы перепутать самых машинных с серединой рейтинга.
Что изменилось после пересчёта
| Сервис | Было | Стало | Изменение |
|---|---|---|---|
| Hugging Face | 67.0 | 49.2 | −17.8 |
| Meta AI | 43.0 | 31.0 | −12.0 |
| Perplexity | 77.0 | 66.0 | −11.0 |
| Grok | 80.0 | 70.8 | −9.2 |
| Алиса | 63.0 | 54.0 | −9.0 |
| LongCat | 66.8 | 73.2 | +6.4 |
Почти вся выборка подешевела. Балл Hugging Face упал с 67 до 49.2, и сервис переместился из группы самых машинных ближе к середине: его штрафовали за структуру и за отсутствие цифр.
Согласие формулы с отдельной LLM-оценкой выросло с 0.65 до 0.78 (Спирмен по 18 сервисам, после усреднения двух текстов каждого; по 36 текстам отдельно — 0.70). Напомню: судьи были скрыты от метрик, но не от названий сервисов.
Это поддерживает выбранный принцип пересчёта, но независимой проверкой не является: правила поправки я формулировал уже после того, как увидел первый прогон, и тестировал на той же выборке. Честнее сказать так, чем выдавать рост корреляции за доказательство.
Почему детекция через рерайт (RAIDAR) не сработала
Одну метрику я выбросил из балла совсем. Есть академический метод (Mao & Vondrick, ICLR 2024): дай модели переписать текст. Свой она правит мало, человеческий — сильно.
Я реализовал его честно и посчитал edit-distance скриптом по всем 36 текстам. Получил ноль. Корреляция с оценками судей −0.10, с формулой +0.10 — обе величины неотличимы от нуля.
Механика провала оказалась изящной. Сильнее всего рерайтер переписал две самые рыхлые справки: 29 и 30% слов. Меньше всего тронул плотные тексты — 1.4%. Править есть что там, где текст водянистый.
В моей выборке показатель оказался связан скорее с плотностью формулировок, чем с итоговой оценкой ИИ-стиля. Это не опровергает метод: он строился на различении человеческих и машинных текстов, а у меня машинные все 36. В моей постановке дифференцирующий сигнал не проявился.
Я мог оставить его в балле и не рассказывать. Но тогда рейтинг стоял бы на метрике, которая показывает обратное тому, что от неё ждут.
LongCat: опечатка не делает текст живым
Единственный сервис, который после пересчёта стал машиннее. Он съехал с двенадцатого места на семнадцатое — в конец рейтинга, к самым машинным.
Причина в том, что LongCat ломает язык: «Лаззер», «череё переходник», «клайте сразу», «лимонная сок», «слишком сухей». Формула сначала прочитала это как человеческую шероховатость и снизила балл — опечатки считаются признаком живого автора.
Я пересмотрел трактовку. Здесь перед нами не одна клавиатурная опечатка, а серия нарушений словоформ и согласования — это правильнее относить к артефактам генерации.
Низкий балл детектора не означает, что текст хорош. Иногда он означает только, что модель сбоит, а детектор принимает сбой за живую шероховатость.
Пять признаков генерации, которые не были заложены в задании
Эти пять признаков нашлись во всех 36 текстах. Ни одного из них задание не требовало — модели добавили их сами.
- Артефакты генерации. Grok оставил в обоих текстах приписку «(Примерный объем: около 6200 знаков с пробелами)» — при том, что задание прямо запрещало комментировать процесс написания. Я посчитал: в справке 5463 знака вместо обещанных 6200, в рецепте 3678 вместо 4200. В требования по объёму он уложился, а вот в самоотчёте завысил себя на 12–14%. Если модель отчитывается о длине текста, эту цифру стоит проверять автоматически. Mistral вставил английское слово в русскую фразу: «варите бульон 1,5–2 часа, periodically снимая жир». Copilot написал «ложка в нём не «тонулa»» — с латинской буквой внутри русского слова.
- Уклонение там, где задание требовало конкретики. Copilot: «Варите бульон до мягкости мяса» — вместо минут. Duck.ai о диаметре шланга: «Слишком «узкий» шланг может быть менее удобен при заполнении». MiniMax о цене: «Гидронивелир в разы дешевле лазерного» — а я просил сравнить по стоимости.
- Смягчение твёрдых фактов. Модальный хедж — это слово-смягчитель («может быть», «как правило», «обычно»), которое снимает с утверждения ответственность. Физика сообщающихся сосудов места для «может быть» не оставляет, а у Duck.ai — 4.61 такого хеджа на 500 слов. Текст боится сказать что-либо определённое.
- Ровный ритм. Разброс длин предложений — это коэффициент вариации: стандартное отклонение длины, делённое на среднюю длину. У Perplexity он равен 0.295 — фразы будто выровнены по линейке. У живого текста разброс обычно выше 0.5 (у этой статьи 0.71). Порог задан мной, а не измерен на человеческом корпусе.
- Шаблонная риторика. Триколон — это фигура из трёх однородных членов подряд: «ярким рубиновым цветом, сбалансированным кисло-сладким вкусом и богатым ароматом». У ChatGPT их восемь на документ. Для ориентира: в аргументативном корпусе Bakhshi люди использовали 3.73–4.87 триколона, языковые модели — 7.13; на рецепт и инструкцию эти цифры напрямую не переносятся. Сюда же интенсификаторы — усилители без содержания («предельно проста», «в разы дешевле»): у Z.ai их 3.99 на 500 слов. И зачин Gemini: «Борщ — это не просто свекольный суп, а символ домашнего уюта и кулинарного мастерства».
Контрольной группы людей у меня нет, поэтому не утверждаю, что эти признаки специфичны именно для машин и редко встречаются у людей. Утверждаю только: в этом эксперименте сервисы выдавали себя ими. За массовую генерацию без правки Google наказывает как спам — но это тема отдельного разговора.
Разбор восемнадцати сервисов
От человечного к машинному. В скобках — балл ИИ-стиля.
Важная оговорка. Я оцениваю стиль, а не достоверность рекомендаций. Конкретная деталь может звучать убедительно, снижать балл ИИ-стиля — и при этом быть ошибочной. Все практические советы из этих текстов требуют отдельного фактчека.
Meta AI (31, Meta). Отвечает на вопросы задания по существу: называет диапазон диаметров, порядок цен, ожидаемую погрешность — вместо отговорок вроде «подберите подходящий». Ритм рваный, есть реплики, которые не выдумывает формула: «Из-за простоты инструмента многие думают, что ошибиться нельзя. Можно.» В рецепте — ложка рассола от квашеной капусты вместо уксуса. Машинные маркеры сидят в оформлении: тридцать жирных лейблов, без которых текст стал бы заметно чище.
GigaChat (36.8, Сбер). Отказался от разметки вообще, чем нарушил структуру задания. Зато выдал приёмы, которых нет в усреднённом рецепте: сырая картофелина против пересола, прогрев пасты «уберет сырой металлический привкус», «ложка в нем должна стоять уверенно». Насколько эти советы работают, я не проверял: они снижают балл ИИ-стиля, но их полезность — отдельный вопрос. Разброс длин предложений 1.05 — самый неровный ритм выборки. Не хватает ему ровно того, что требовало задание: заголовков.
Claude (42.2, Anthropic). Объясняет физику вместо пересказа: «Слишком тонкий шланг усиливает капиллярные эффекты и делает мениск более выпуклым». В рецепте — дозировка правки вкуса «по половине чайной ложки, каждый раз пробуя». Портит вёрстка: жирный лейбл открывает 36 абзацев подряд. Под лейблами — одно из лучших содержаний в выборке, и трогать его не нужно.
Qwen (47.5, Alibaba). Фактура вытягивает: диаметры, мениск, разные тайминги для молодой и зимней капусты. Топит риторика — 3.29 интенсификатора на 500 слов: «невероятно точный», «критически важный этап», «абсолютная прозрачность». Есть опечатка «расширется». Под усилителями и финальной моралью прячется хорошая фактура.
DeepSeek (49.2). Лучше всех имитирует блоговый регистр: цены 500–1500 ₽, идиома «танцы с бубнами», единственные во всей выборке вопросы. Выдаёт себя каркасом: «Представьте, что вам нужно сделать идеально ровный пол…», следом «В этой статье мы разберём» — прямое нарушение запрета на комментарии о процессе, — а в конце три финала подряд. Срежьте вступление и два финала из трёх: начинка хорошая, упаковка выдаёт.
Hugging Face Chat (49.2). Гладкая энциклопедия. На вопрос «на что смотреть при выборе длины и диаметра» отвечает так: «для загородного участка или большого строительного объекта потребуется длинный». Читатель после этого знает ровно столько же, сколько до. Ритм ровный (0.364). Здесь нужен не стилевой ремонт, а ответ по существу — не обязательно числом, но так, чтобы читатель мог принять решение.
Z.ai (51.5, Zhipu AI). Чемпион по жанровому разрыву: справка 62, рецепт 41. Усилители из справки я приводил выше; в рецепте их плотность падает впятеро, зато появляется причинная точность: лаврушка кипит «не более 3–5 минут, иначе появится лишняя горечь», а кастрюлю советуют «укутать плотным махровым полотенцем или одеялом». Меняйте усилители на проверяемые сравнения — фактура у него есть.
Kimi (52.2, Moonshot AI). Палит архитектура, а не лексика: каждый абзац построен по схеме тезис — развитие — вывод, ритм выровнен (0.396). Фактура вроде бы спасает: «Шланг сечением 6–10 миллиметров оптимален», остудить бульон «до 70–80 градусов» перед чесноком, термин «фиксируют пигмент бетаин».
Вот на этом термине и стоит остановиться. Пигмент свёклы называется бетанином, бетаин — другое соединение. Уверенный термин оказался ошибкой — и по моей шкале он работал в плюс, потому что выглядит как знание.
Ложная конкретика тоже читается человечно. Это, пожалуй, главное ограничение любого стилевого детектора: он не отличает точный факт от убедительно звучащего. А в AI-ответах цитируется ровно то, что звучит уверенно, — цена ошибки тут выше, чем кажется.
MiniMax (52.5). Сравнение по стоимости свёл к «Гидронивелир в разы дешевле лазерного». Формально ответ дан, но насколько дешевле — читатель не узнает. Зато добавил соображение, которого нет ни у кого: мыльная вода расползает мениск. Насколько это верно — вопрос отдельной проверки. Доводите сравнение до проверяемого ориентира, иначе ответ есть, а толку нет.
Алиса (54, Яндекс). В справке ноль цифр. Там, где задание просило критерии выбора, стоит вода: «Шланг должен быть достаточно длинным для покрытия рабочей зоны». Триколон в первом же абзаце: «ярким рубиновым цветом, сбалансированным кисло-сладким вкусом и богатым ароматом специй и зелени». Конкретику из неё придётся вытягивать отдельно.
ChatGPT (55.8, OpenAI). В справке — восемь триколонов и заметно ровный ритм (0.378). Совет по выбору сводится к тавтологии: «Длина шланга должна превышать максимальное расстояние между точками». Это верно и бесполезно. В рецепте почти все маркеры исчезают, разброс длин взлетает до 0.795. В объяснительных текстах ломайте симметрию шагов — в инструкциях он справляется сам.
Gemini (56.2, Google). Содержательно конкретен: 25 цифр на 1000 слов, наблюдение «бульон должен не бурлить, а лишь слегка «подпрыгивать»». Портит его пафосный зачин рецепта, который я цитировал выше, и апелляция к безымянному большинству: «многие гурманы утверждают, что «вчерашний» борщ гораздо вкуснее свежесваренного». Уберите вступление — остальное почти готово.
Copilot (65, Microsoft). Форма съела содержание: 14 заголовков на 624 слова, списки строго по три. Бульон варится «до мягкости мяса», заправка готовится «до мягкости свёклы» — минут нет нигде. Гомоглиф из первого абзаца я разбирал выше. Правкой тут не обойтись: под рубриками пусто.
Perplexity (66). Ровные двадцатисловные периоды (разброс 0.295) и уход от прямых вопросов. Я просил сравнить инструменты по точности — получил: «По точности оба инструмента могут быть полезны в своих задачах». В рецепте вместо времени варки — «варите на слабом огне до готовности». Ни одной детали, за которую можно зацепиться.
Grok (70.8, xAI). Служебная приписка в обоих текстах — про неё выше. Дальше: тире-кластеры 23 на 1000 слов и рамка «Главное —», повторённая трижды на 737 слов («Главное преимущество — работа без электричества», «Главное — герметичность соединений», «Главное — внимательность к пузырькам»). Финал пустой: «Освойте его один раз — и он станет верным помощником». Вычищайте приписки, разбивайте рамку.
Duck.ai (71.2, DuckDuckGo). Текст боится сказать что-либо определённое: 4.6 цифры на 1000 слов при 4.61 модального хеджа на 500. В рецепте «по желанию» стоит у шести позиций подряд. Термины берёт в кавычки, будто извиняясь: «завоздушивания», «карманов», «на бегу». Встречается и прямая бессмыслица: «концы были на одной логике измерения». Уберите оговорки — выяснится, что под ними ничего нет.
LongCat (73.2, Meituan). Единственный, кто после пересчёта стал машиннее — разбор выше. К сломанным словоформам добавьте рубрикацию сверх задания и обрубок без сказуемого: «и скорость критична — лазерный уровень преимущество». Публиковать без полной вычитки нельзя: текст физически не готов.
Mistral (74, Mistral AI). Не перечитывает свой вывод: иноязычную вставку и осколки таблицы я показывал выше. Добавьте рассогласование внутри самого рецепта — в шаге капусту кладут без указания времени, а в советах требуют «за 15–20 минут до готовности, чтобы она не разварилась». Модель противоречит себе через два абзаца. Вычитка обязательна: артефакты уходят в публикацию как есть.
Как править текст после нейросети
- Найти места, где текст уходит от требуемой конкретики: «до готовности», «достаточно длинный», «может быть удобнее». Добиваться ответа по существу. Измеримые ориентиры добавлять только тогда, когда они проверены — подменять уклончивость выдуманными числами нельзя, это другая беда.
- Снести рубрикацию, которую вы не заказывали. Жирный лейбл в начале каждого абзаца — не структура, а шум. Настоящая структура — это логика разделов, а не количество подзаголовков.
- Убрать финальный раздел, пересказывающий статью. Заканчивать конкретным действием.
- Вычитать на артефакты: иноязычные вставки, латинские буквы внутри русских слов, служебные приписки, сломанные словоформы.
- Прочитать вслух. Если все предложения одной длины — переписать половину.
Из собственной ошибки я вынес шестой пункт: прежде чем верить детектору, посмотрите на задание. Если бриф требовал рубрикацию и запрещал выдумывать цифры, детектор увидит рубрикацию и числовую пустоту — и назовёт текст машинным. Проверять надо не структуру, а то, что модель добавила сверх неё.
Проверить свой текст. Быстрый вариант — промпт AI Detect от DrMax: копируете текст, получаете разбор по маркерам. Главное — держите рядом бриф, по которому текст писался, иначе повторите мою ошибку и накажете автора за структуру, которую сами же заказали.
Чем эта статья выглядит по моей же шкале
Я прогнал её через собственный детектор — по той же процедуре, что и 36 машинных текстов. Формула дала 27 баллов, независимый LLM-судья — 24. Итоговый балл ИИ-стиля первой версии: 25.5.
Потом я переписал статью — снял повторы, развёл концовки карточек, переделал раздел с вопросами — и прогнал детектор заново. Половина показателей поехала в машинную сторону. Ритм выровнялся: разброс длин упал с 0.80 до 0.70. Цифр на тысячу слов стало меньше — 73 против 84: текст вырос, а числа за ним не поспевали. Триколонов стало четыре вместо двух.
Это и есть цена редактуры. Убирая повторы и рубленые фразы, я выравнивал ритм — тот самый, за который штрафую машины. Формула это заметила: 26.2 против прежних 27, почти без движения.
С судьёй вышло интереснее. Я прогнал слепую оценку трижды, на трёх последовательных версиях текста, и получил 19, 28 и 24. Разброс в девять пунктов — на тексте, который между прогонами менялся по мелочи. Помните корреляцию 0.37 между двумя судьями первого прогона? Вот она в действии, только теперь на мне. Итоговый балл текущей версии: 25.1 — практически там же, где была первая.
Последний судья указал на то, что я править не стал: восемнадцать карточек и половина ответов в разделе с вопросами кончаются командой в повелительном наклонении. Он прав. Но переписывать практические советы так, чтобы они перестали быть советами, — это уже подгонка текста под метрику, а не работа над текстом. Ровно то, о чём предупреждаю выше.
Это ниже, чем у любого из восемнадцати сервисов: лучший из них набрал 31.
| Показатель | Первая версия | После редактуры | Для сравнения |
|---|---|---|---|
| Разброс длин предложений | 0.80 | 0.71 | у Perplexity 0.295 |
| Цифр на 1000 слов | 84.0 | 72.9 | у Duck.ai 4.6 |
| Триколонов | 2 | 4 | у ChatGPT 8 |
| Интенсификаторов на 500 слов | 0.36 | 0.28 | у Z.ai 3.99 |
| Модальных хеджей на 500 слов | 1.67 | 1.95 | у Duck.ai 4.61 |
| Риторических вопросов в прозе | 0 | 0 | у 35 текстов из 36 тоже 0 |
Что сказали публичные детекторы
Теперь самое неудобное. Этот текст писался в соавторстве с языковой моделью: эксперимент, данные, методика и правка мои, набор фраз — во многом её. Я прогнал готовую статью через два публичных AI-детектора, которыми пользуются редакторы и заказчики.
| Сервис | Вердикт |
|---|---|
| Decopy AI Detector | 3% вероятности ИИ |
| MyDetector | 98% человек, 2% смешанный, 0% ИИ |
Ноль процентов. Текст, который набирала нейросеть, второй сервис признал человеческим с уверенностью 98%.
Объяснение простое и оно же — вывод всей статьи. Детекторы ловят не происхождение, а манеру: усреднённый ритм, гладкие обобщения, ритуальные хеджи, тройные перечисления. Мы полтора десятка проходов вычищали ровно это — и заодно вычистили сигнал, по которому детектор узнаёт машину. Признаки ушли, авторство осталось прежним.
Отсюда практический вывод для тех, кто принимает тексты у подрядчиков. Скриншот из AI-детектора не доказывает ничего: ни того, что текст писал человек, ни того, что писала машина. Проверять надо не происхождение, а работу — есть ли в тексте данные, которых нет у конкурентов, проверяемые числа, живой опыт и позиция, за которую автор готов отвечать. Всё это невозможно подделать, потому что это не свойство стиля.
Что оценщики нашли против меня
Оба независимо указали на одно и то же место — и попали точно.
Разбор восемнадцати сервисов шёл по жёсткой схеме. В той версии, которую оценивали, каждая карточка кончалась директивой «Что делать: …» — восемнадцать раз подряд, под копирку. Это ровно тот приём, за который я штрафую Claude с его тридцатью шестью жирными лейблами и который сам же велю сносить в чеклисте. Своя рубрикация всегда кажется осмысленной.
Лейбл «Что делать» я снял, часть концовок переписал — и всё равно десять карточек из восемнадцати кончаются командой в повелительном наклонении. Отказаться от приёма не вышло даже после того, как я сам себя на нём поймал.
Судья второго прогона добавил к этому находку, которую я не заметил сам: ответ в разделе с частыми вопросами дословно повторял абзац из тела статьи. Дубль я снял — но обратите внимание, что нашла его машина, а не я.
Ноль риторических вопросов в прозе. Я полтекста критиковал сервисы за молчание и сам не задал ни одного. Пять вопросительных предложений в статье есть, но все они — заголовки в разделе с частыми вопросами.
Вопрос, вставленный сюда задним числом, был бы ровно той подделкой под живую речь, которую я разбираю выше. Оставляю как есть.
Ни один из 36 машинных текстов не строится вокруг ошибки автора — просто потому, что у него нет ошибок, которые он готов признать.
Это не доказывает, что мой метод верен. Это показывает, как он оценивает материал, написанный по его же результатам.
Ограничения
- Два жанра: справка и рецепт. Другие не проверялись.
- По одному ответу каждого сервиса. Повторных прогонов не было.
- Контрольной группы людей нет: все 36 текстов машинные.
- Оценщики — LLM, а не люди. Каждый текст оценён одним запуском, межоценочное согласие не измерялось.
- Судьи видели названия сервисов.
- Оценщик Claude Opus принадлежит к той же экосистеме, что один из участников рейтинга.
- Веса категорий — авторская эвристика, а не результат обучения на размеченных данных.
- Правила поправки на задание формулировались после первого прогона и тестировались на той же выборке.
- Сервисы меняют модели и системные инструкции без предупреждения. Результат относится к июлю 2026 года.
- Балл не доказывает авторство и не оценивает фактическую точность текста.
Проверьте меня
Все 36 текстов, полный разбор и весь вычислительный путь открыты. Там же: подсчёт фразы «на крупной тёрке» с пометкой, была ли она в задании, все вопросительные предложения, обе матрицы сходства, точные объёмы в знаках и первый, ошибочный расчёт.
Скачайте и посчитайте сами. Получите другой результат — напишите, разберёмся.
Источники
- Bakhshi (препринт, 2026). Риторические фигуры у людей и языковых моделей: arxiv.org/abs/2604.19768 — корпус аргументативных текстов, жанр отличается от нашего.
- Mao & Vondrick (ICLR, 2024). RAIDAR: детекция через объём правок при рерайте: arxiv.org/abs/2401.12970
Вопросы и ответы
Meta AI: 31 балл из 100. Следом GigaChat — 36.8. Оговорка тут важнее самого ответа: два жанра, один прогон на сервис, июль 2026 года. Через полгода на тех же промптах рейтинг соберётся заново.
Как доказательству — нет. Эту статью писала языковая модель под мою правку, и два публичных детектора её не узнали: Decopy дал 3% вероятности ИИ, MyDetector — 98% человек и ноль процентов машины. Мой собственный детектор ошибался иначе: Hugging Face получил у него 67 баллов и место среди самых машинных, а после пересчёта с брифом на руках — 49.2 и середину таблицы, хотя текст не изменился ни на букву.
Жанр диктует манеру. Справка развязывает руки: обобщай, рубрицируй, заканчивай красиво. Рецепт держит в узде — там граммы и минуты. У Z.ai это дало разрыв в 21 балл между двумя его собственными текстами.
Сначала откройте бриф: рубрикация, которую заказали вы, уликой не считается. Дальше хватит двух измерений, и оба считаются в любом редакторе. Посчитайте числа на тысячу слов: у русского автора их примерно вдесятеро больше, чем у машины. Посмотрите на длины предложений: если они держатся в одном коридоре, это повод присмотреться — доказательством оно не будет. Остальные три признака с примерами разобраны выше.
Не переписывайте вслепую. Достаньте бриф и вычтите из претензий детектора всё, что заказали сами. То, что останется, модель добавила от себя — вот с этим и разбирайтесь.
Эксперимент проведён в июле 2026 года. Повторный прогон на тех же промптах может дать другие тексты и другой рейтинг. Журнал правок: первая публикация — 13.07.2026.