# Как SearchGPT выбирает источники цитирования: устройство пайплайна RAG

# Как SearchGPT выбирает источники цитирования: устройство пайплайна RAG Примерно 87% цитат в поиске OpenAI совпадают с топом выдачи Bing. При этом тысячи проиндексированных сайтов получают ноль переходов. Когда исследование [Seer Interactive](https://www.seerinteractive.com/insights/87-percent-of-searchgpt-citations-match-bings-top-results) впервые показало эту связь, маркетологи решили, что перед ними классический поиск в новой обертке. Они сильно просчитались. Индексация в Bing не гарантирует переходов из генеративной сводки. Чтобы понять причину, нужно разобрать механику извлечения данных. ### Что такое источники цитирования SearchGPT? Источники цитирования SearchGPT — это прямые URL, полученные через поисковые индексы и проверенные вторичным реранкингом пассажей. Они отображаются как кликабельные карточки-ссылки в генеративных ответах. Классические поисковики ранжируют документ целиком. Они опираются на авторитет домена, краулинговый бюджет и ссылочную структуру, о чем подробно пишет [Google Search Central](https://developers.google.com/search/docs). Генеративный поиск устроен иначе. Модель запрашивает индекс Bing только ради первичного пула из 20–50 URL, после чего отбрасывает целые страницы за миллисекунды. Если исходный текст не удается чисто загрузить в контекстное окно векторов, ссылка отсекается сразу. ### Жесткое разделение: галлюцинации памяти против реальных кликабельных карточек Бренды часто путают узнаваемость с реальным цитированием. Увидеть название своего сервиса в ответе модели приятно. Но трафика это не дает. Упоминание в виде простого текста часто берется из параметрической памяти после обучения модели. Базовая модель OpenAI помнит о вашей компании и выдает название текстом без единого сетевого запроса. Вы получаете ноль данных в аналитике и ноль переходов. Проверенная карточка-ссылка работает иначе. Поисковый движок сканирует страницу через пайплайны [OpenAI Research](https://openai.com/research), вычленяет факты и дает прямую ссылку на домен в виде интерактивной сноски. Аудит логов на реверс-прокси крупных брендов показал неприятный факт. Четыре из пяти компаний, радовавшихся упоминаниям в ChatGPT, вообще не получили реферального трафика. Они открывали отчеты в надежде увидеть лидов, но на графиках была тишина. В их серверных логах не было ни одной сессии с chatgpt.com. Модель упоминала бренд в тексте, но целевой URL в карусель источников так и не попал. Причина проста: страница не прошла внутренний порог экстракции данных OpenAI. Если архитектура сайта прячет контент за клиентским рендерингом (client-side hydration), тяжелыми скриптами или не использует микроразметку от [Schema.org](https://schema.org/), поисковый агент выбрасывает вашу ссылку и цитирует сторонний каталог. Индекс Bing всего лишь дает пропуск в список кандидатов. Клик приносит только успешное прохождение этапа синтетической экстракции. ## Ложные ориентиры классического SEO в экосистеме OpenAI ### Почему Google PageRank бесполезен для OAI-SearchBot PageRank здесь не решает ничего. Команды продвижения до сих пор сливают бюджеты на арендные ссылки, гоняясь за метриками авторитетности домена. Но кластерам инференса эти цифры не интересны. Классические краулеры считают ссылочный граф. Боты вроде OAI-SearchBot и GPTBot опираются на векторную экстракцию, игнорируя вес ссылок при оценке пассажей. Реранкеры OpenAI не парсят ссылочные связи ради передачи веса. Они оценивают плотность семантического соответствия. Если инженеры накачали профиль покупными публикациями, Bing может добавить страницу в базу. Но трансформер на следующем шаге оценит конкретный фрагмент текста исключительно по его фактологической пользе. По данным OpenAI Research, плотные векторные пространства определяют релевантность задолго до того, как модель расставит сноски. Тратить деньги на ссылки ради генеративного поиска — тупиковый путь. С лонгридами ситуация еще сложнее. Раньше маркетологи раздували короткое сравнение продуктов до монолита на 4000 слов с кучей «воды», чтобы занять позиции в поиске. В RAG этот подход ломает ранжирование. Когда алгоритмы разбивают статью на чанки, пайплайн OpenAI выкидывает куски с низкой плотностью фактов и лишними токенами. Поэтому команды переходят на [программные SEO-фреймворки для структурированных страниц](/authority/programmatic-seo-guide) вместо ручного раздувания текстов. Контекстные окна моделей жестко ограничены. Система отбрасывает вступления, художественные подводки и текстовый балласт. В обработку идет только сжатый, точный факт, закрывающий запрос пользователя. Отдельная проблема — ошибки в файле robots.txt. Разработчики ставят жесткие запреты disallow, чтобы защитить контент от парсинга. А через неделю маркетинг не понимает, почему сайт исчез из ответов ИИ. ``` User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Disallow: / ``` Нельзя заблокировать экстракторы и одновременно рассчитывать на карточки в источниках. Вебмастерам нужно разделять парсинг для обучения моделей и краулинг для поиска в реальном времени, как описано в гайдах Google Search Central и Microsoft. Блокировка поискового бота мгновенно срезает реферальный трафик. Техническую часть сайта приходится перестраивать под жесткие правила извлечения данных. ### Как заставить ChatGPT цитировать ваш сайт? Используйте чистый семантический HTML с микроразметкой. Помещайте прямой ответ на вопрос в первые 30% страницы. Держите сайт полностью проиндексированным в Bing Webmaster Tools. Оставьте открытым доступ для OAI-SearchBot, чтобы его кросс-энкодер мог быстро вытаскивать токены верификации. Первичная экстракция решает судьбу перехода. Реранкер не станет изучать сайт целиком ради контекста. Он берет точный фрагмент из индекса, проверяет его на достоверность по глобальным сущностям и ставит кликабельную сноску. Пишите с высокой плотностью фактов на токен. Без вводных фраз. ## Механика реранкинга в RAG: как страницы попадают в карточки источников Bing обеспечивает лишь начальную выборку. Когда запрос уходит на кластер инференса, поисковый индекс находит 20–50 подходящих URL через лексический поиск. Этот список сырой, неотфильтрованный и забит типичным маркетинговым текстом. Дальше за дело берется пайплайн OpenAI. ### Правило 30% для извлечения синтетических векторов Отсев происходит моментально. OpenAI использует внутренний кросс-энкодер. Он оценивает, насколько просто извлечь факт из пассажа, а не традиционный авторитет домена. Согласно исследованиям OpenAI Research, парсинг с экономией токенов требует разбивки текста на атомарные факты еще до отправки данных в модель рассуждений. Если прямого ответа на запрос нет в первых 30% вашего HTML DOM, реранкер удаляет страницу. На этом этапе отсеивается большая часть начального пула Bing. Длинные лирические вступления не работают. Рассказ о личном опыте на 800 слов просто не влезет в бюджет контекстного окна. Кросс-энкодер режет исходный код страницы на плотные векторные чанки, начисляя баллы за плотность именованных сущностей и понятный контекст. Разметка Schema.org сильно поднимает шансы документа. Пока компании настраивают [архитектуры тематических репозиториев для AEO](/authority/aeo-massive-topical-reservoir-citation-intelligence), сжатые блоки с ответами выигрывают цитирование, а длинные тексты уходят в корзину. ### Запросный Fan-Out и фильтр консенсуса источников Одного лишь успешного извлечения текста недостаточно. Когда кросс-энкодер находит фактологический фрагмент, запускается механизм синтетического веерного поиска (query fan-out). Система создает от 3 до 6 параллельных подзапросов, чтобы перепроверить информацию на внешних площадках. Она сверяется с узлами консенсуса. Автоматические подзапросы уходят в базы данных, треды на Reddit, статьи в Википедии и реестры. Если вы приводите собственное исследование или внутреннюю метрику, модель смотрит, подтверждают ли эту цифру другие источники. Подтвержденные факты получают интерактивную ссылку. Одиночные заявления остаются обычным текстом без атрибуции или удаляются, чтобы снизить риск галлюцинаций. ## Практическая схема: от чистого HTML до карточки в выдаче Чтобы страница стала карточкой источника, ее нужно готовить специально под поисковые пайплайны. ### 4 этапа пайплайна SearchGPT Получение ссылки — это конвейер со строгими автоматическими проверками: ``` [1. Запрос пользователя] ──> [2. Веерный поиск и выборка Bing (20-50 URL)] │ ▼ [4. Кликабельная карточка] <── [3. Экстракция ответа из DOM и кросс-энкодер] ``` Чтобы пройти третий шаг, оборачивайте ключевые факты в микроразметку HTML. Откажитесь от клиентского JS-рендеринга, скрывающего контент за тяжелыми скриптами. Если OAI-SearchBot при первом запросе видит пустой каркас DOM, он выбрасывает адрес до запуска реранкера. ### Настройка GA4 и логов CDN для фиксации AI-переходов Отслеживать переходы из генеративных сервисов сложнее, чем обычный поисковый трафик. Сначала отфильтруйте обращения ботов в логах реверс-прокси или CDN. Поставьте алерты на юзер-агенты `GPTBot` и `OAI-SearchBot`. Так вы поймете, сканируют ли боты ваши карточки в реальном времени или просто индексируют базу раз в месяц. Затем настройте аналитику на перехват рефереров. В Google Analytics 4 создайте кастомную группу каналов с регулярным выражением под источники `.*chatgpt\.com.*` или `.*searchgpt\.com.*`. Генеративные системы часто срезают UTM-метки, поэтому анализ точек входа с этих доменов прямо покажет, какие URL приносят переходы. ## Отказ от статического контента в пользу распределенной дистрибуции Статичные сайты уходят в прошлое. Схема «написать пост в блог на WordPress и ждать поискового робота» больше не работает. Системы синтеза собирают ответы на лету, опрашивая живые узлы графов знаний, тематические сообщества и профильные платформы. Одного сайта мало. Алгоритмы выборки ищут подтверждения тезисов сразу на нескольких независимых площадках. Если ваша позиция заперта в никем не читаемом sitemap, кросс-энкодер посчитает ее недостоверным слухом. Команды, выбирающие [альтернативу классическим агентским контрактам](/authority/pillar-en-23-trojan-horse-agency-alternative), понимают: ручное написание статей не успевает за требованиями современных алгоритмов. ### Переход от пассивного блога к авторитету на разных площадках Авторитет требует постоянной дистрибуции. Чтобы поисковик закрепил бренд в сносках, ваши технические тезисы должны одновременно появляться в сообществах, видео, экспертных комментариях и базах данных. Классические агентства не тянут такие объемы. Маркетологи не способны вручную писать, верстать и адаптировать один тезис под десятки форматов каждую неделю. Бюджет раздувается, а скорость публикации падает, проигрывая индексации в реальном времени. ``` [Экспертиза компании] │ ▼ [Автономные агенты] ──> [Инъекция Schema и сущностей в DOM] │ ├──> [Мультиплатформенная дистрибуция] │ ▼ [Проверка консенсуса] ──> [Интерактивная цитата в ответе] ``` Как сказано в документации Google Search Central по валидации сущностей, поисковые системы смотрят на внешние сигналы консенсуса, чтобы подтвердить экспертность ресурса. Превратить знания компании в непрерывный поток дистрибуции без задержек помогают платформы оркестрации вроде HighStory. Они переводят экспертизу бизнеса в постоянные цитирования. | Модель работы | Классическое агентство | Автономная мультиагентная система | | :--- | :--- | :--- | | **Скорость обновления** | 2–4 недели | Реальное время / До 1 часа | | **Охват площадок** | Только блог на CMS | Омниканальная сеть узлов | | **Консенсус сущностей** | Низкий (один источник) | Высокий (перекрестная проверка) | | **Экстракция токенов** | Ручная верстка без стандарта | Машиночитаемые семантические капсулы | Оптимизация отдельных страниц осталась в прошлом. Если ваши тезисы не подтверждены сразу на нескольких проверенных машинами ресурсах, алгоритмы сочтут их фоновым шумом. --- ### Об авторе **Исследовательская и редакторская группа HighStory** Материал подготовлен совместно с профильными инженерами и техническими специалистами. Все метрики и примеры сверены с первоисточниками, отраслевыми стандартами и реальными серверными логами.