Кажется, что внутри база знаний
Первый разговор с нейросетью выглядит как волшебство: спросил про закон, про цену, про болезнь — получил ответ. Кажется, что где-то лежит огромная база, и модель по ней ищет, как поисковик, только своими словами.
Эта картинка удобная, но неверная. И пока она в голове, каждая выдуманная дата выглядит как сбой, а не как свойство инструмента.
Что происходит на самом деле
Она обучена на большом количестве текстов и выучила, какие слова идут после каких. Когда вы задаёте вопрос, она не достаёт ответ из хранилища — она составляет текст, который по её статистике подходит к вашему вопросу.
Отсюда главное: уверенный тон ничего не говорит о правде. Гладкое предложение — это признак того, что такие предложения часто встречались в текстах. А не того, что кто-то проверил факт.
Проверить просто. Попросите аннотацию к книге, которой не существует. С большой вероятностью получите складный абзац: модель видела тысячи аннотаций и знает, как они устроены.
Аналогия, которая всё объясняет
Представьте стажёра, который прочитал всю библиотеку, но ни разу не выходил из читального зала. Он знает, как пишутся отчёты, письма и служебные записки. Он может собрать документ, который не отличить от настоящего.
Чего он не знает — что было в вашем магазине в марте. Он не видел ваших цифр, ваших клиентов и вашего склада. Если спросить, он ответит — потому что не умеет говорить «не знаю», если статистика подсказывает правдоподобное продолжение.
Три вида вранья, которые встречаются чаще всего
Первое — выдуманная деталь. Дата, номер договора, название статьи, ссылка на исследование. Общая мысль верная, а конкретика придумана, потому что в текстах на этом месте обычно стоит цифра.
Второе — устаревшее. Знания модели обрываются на определённом моменте. Тарифы, правила, версии программ меняются, а ответ остаётся прежним — уверенным и неверным.
Третье — смешение похожего. Два закона с близкими названиями, две модели одного производителя, два почти одинаковых термина. Она соединяет их в один ответ, и он выглядит логично.
Общее правило: чем конкретнее деталь и чем она важнее для решения, тем внимательнее её надо проверять. Общие объяснения обычно надёжнее, чем цифры и имена.
Пять приёмов, которые ловят враньё
- Просите источник и проверяйте, что он существует. Не «дай ссылку», а «назови документ, статью и год». Если модель называет источник, откройте его. Половина выдумок отваливается на этом шаге.
- Давайте текст, а не память. Вставьте свои данные в запрос и попросите отвечать только по ним: «вот мой отчёт, найди в нём причину падения». Тогда она работает с вашими цифрами, а не с воспоминаниями о похожих отчётах.
- Спрашивайте, где она не уверена. Прямая просьба «отметь места, в которых ты сомневаешься» работает хуже, чем кажется, но часто вытаскивает слабые места наружу.
- Проверяйте числа и имена отдельно. Всё, что попадёт в договор, отчёт или рекламу, сверяйте руками. Это две минуты, и они дешевле ошибки.
- Дробите задачу. Сначала план, потом по одному шагу с проверкой. На длинной цепочке ошибка в начале уводит весь результат, и заметить это в готовом тексте почти невозможно.
Красные флаги
- Слишком гладко и слишком уверенно — особенно там, где вы сами не эксперт.
- Конкретная цифра без источника: «по данным исследований», «около 70 процентов».
- Цитата есть, а ссылки нет.
- Ответ на редкий вопрос звучит так же бодро, как на частый.
- Вы просили факт, а получили рассуждение о том, как факты обычно устроены.
Упражнение на пять минут
Возьмите рабочий вопрос, на который знаете точный ответ: цену, срок, условие. Спросите модель и сравните. Потом попросите источники и проверьте один. Это упражнение делает больше, чем десять статей про опасности ИИ: вы своими глазами видите, где он ошибается именно в вашей теме.
Коротко
- Модель предсказывает текст, а не ищет факты.
- Уверенный тон — не доказательство правоты.
- Проверяйте детали: цифры, даты, имена, ссылки.
- Свои данные давайте в запросе, а не надейтесь на память модели.
Если хотите разобраться шире — в презентации есть глава про то, как устроена модель и почему она не «знает», а предсказывает. А в словаре есть термины «галлюцинация», «контекст» и «RAG» — три слова, которые объясняют почти всё в этой теме.