После выхода статей в отраслевых медиа бренд стал чаще появляться в ответах нейросетей. Достаточно ли этого, чтобы признать размещения эффективными? Для фиксации изменения — да. Для вывода о его причине — нет. Cравнение «до и после» ещё не показывает, что произошло бы без публикаций.
Чтобы проверить эффект внешних публикаций, нужно заранее учесть вопросы и условия проверки, собрать несколько исходных замеров, выделить контрольную группу, провести размещения и сравнить изменения между группами. Упоминания бренда, рекомендации и цитирование публикаций следует измерять отдельно.
Ниже — предлагаемый протокол пилотного эксперимента для SEO-команды. Число вопросов, сроки и порог успеха являются примерами проектных решений, а не отраслевыми нормативами. Все результаты в расчётном примере условные.
Что именно считать AI-видимостью
Для этого эксперимента определим AI-видимость как частоту и характер присутствия бренда в ответах выбранных AI-систем на заранее составленную панель вопросов.
Такая метрика описывает конкретный тест: его темы, формулировки, языки, регионы и сервисы. Называть её долей всех пользователей, которым нейросети рекомендуют компанию, нельзя: для этого потребовались бы данные о реальных пользовательских запросах и показах.
Разделим измерение на несколько показателей.
| Показатель | Правило фиксации | Что позволяет оценить |
|---|---|---|
| Упоминание бренда | Бренд присутствует в основном тексте ответа | Частоту присутствия в ответах |
| Рекомендация | Бренд предложен как подходящий вариант для задачи пользователя | Частоту включения в выбор |
| Цитирование размещения | Среди видимых источников есть URL конкретной внешней публикации | Частоту отображения ссылки на размещение |
| Цитирование сайта бренда | Среди источников есть URL собственного сайта | Присутствие собственного домена среди источников |
| Корректность описания | Проверяемые утверждения о бренде соответствуют фактам | Качество представления компании |
Упоминание в предупреждении, включение в список поставщиков и ссылка в блоке источников должны получать разные отметки. Если бренд встречается только в заголовке источника, не засчитывайте это как упоминание в основном тексте.
Разделение содержания ответа и источников согласуется с подходом исследования GEO: авторы оценивают видимость источников в сгенерированных ответах. Работа принята на KDD 2024; это исследование методов оптимизации, а не доказательство эффективности конкретной PR-кампании.
Сформулируйте проверяемую гипотезу
Фраза «публикации улучшат присутствие бренда в нейросетях» слишком широка. По ней трудно определить, какой результат считать успехом.
Рабочая гипотеза может звучать так:
В заранее выбранном окне после размещений доля ответов с рекомендацией бренда вырастет сильнее в тематических кластерах, для которых опубликованы материалы, чем в сопоставимых кластерах без размещений.
До начала работ зафиксируйте:
- основной показатель — например, долю ответов с рекомендацией;
- основной сервис и режим проверки;
- дополнительный сервис для проверки переносимости результата;
- тематические группы и правила их распределения;
- даты основного сравнения;
- минимальный эффект, который имеет практический смысл для бизнеса;
- правила обработки ошибок и пропущенных проверок.
Например, команда может выбрать порог в 10 процентных пунктов сверх изменения контроля. Это её управленческий критерий, а не подтверждённая норма эффективности GEO.
Если основным показателем выбраны рекомендации, нельзя после получения данных объявить главным успехом рост цитирования: это другой результат. Его можно описать как дополнительное наблюдение.
Подготовьте панель вопросов и контроль
Начните с задач клиентов, для которых бренд действительно релевантен. Для производителя строительных материалов это могут быть выбор поставщика, условия доставки, технические характеристики и применение продукции.
В основной панели используйте вопросы без названия бренда. Они позволяют проверить появление компании без прямой подсказки. Брендовые запросы вынесите в отдельную диагностическую группу: с их помощью можно проверять точность описания компании.
Для пилота предлагается такая схема:
- Выберите 12 достаточно обособленных тематических кластеров.
- Составьте по пять фиксированных вопросов для каждого: всего 12 × 5 = 60.
- Объедините кластеры в шесть сопоставимых пар.
- В каждой паре случайно назначьте один кластер в экспериментальную группу, второй — в контрольную.
- Подготовьте внешние публикации по темам экспериментальных кластеров.
Сопоставляйте темы по пользовательскому намерению, релевантности бренда и исходной видимости. Не стоит сравнивать общие вопросы о выборе товара с узкими вопросами о конкретной технологии.
Единица распределения здесь — тематический кластер. Пять формулировок одной задачи остаются измерениями внутри кластера, а не пятью независимыми экспериментами.
У такого контроля есть существенное ограничение: публикация о бренде может повлиять и на соседние темы. Поэтому предложенный дизайн оценивает прежде всего различие между тематическими направлениями. При заметном перетекании воздействия он не позволяет надёжно оценить общий эффект кампании на бренд.
Общий принцип контроля — приблизиться к ответу на вопрос «что произошло бы без вмешательства». Методические материалы Всемирного банка подчёркивают: большой объём данных сам по себе не заменяет корректный дизайн причинной оценки.
Если обособленных направлений нет, можно провести мониторинг «до и после», но в отчёте нужно прямо назвать его наблюдательным. Динамика конкурентов полезна для контекста; считать конкурента полноценным контролем без проверки сопоставимости не следует.
Проведите исходные замеры
Исходный уровень лучше определять по нескольким сессиям в разные дни. В предлагаемом пилоте предусмотрены пять сессий за две недели до размещений.
Для каждой проверки сохраняйте одинаковые условия.
| Параметр | Что зафиксировать |
|---|---|
| Вопрос | Точный текст и постоянный идентификатор |
| Система | Название сервиса, интерфейс или API |
| Модель | Версию, если она доступна; иначе «не раскрыта» |
| Поиск | Выбранный режим и наличие признаков веб-поиска |
| Регион и язык | Указанные настройки и известные ограничения |
| Контекст | Новый диалог, настройки памяти и персонализации |
| Время | Дату, время и часовой пояс |
| Результат | Полный ответ, видимые источники, статус выполнения |
API и пользовательский интерфейс учитывайте как разные поверхности измерения. Не объединяйте их результаты в один ряд без отдельной проверки сопоставимости.
Проверяйте экспериментальные и контрольные вопросы в одной сессии, чередуя их порядок. Не уточняйте неудачный ответ просьбой «подумать ещё»: это уже другое условие.
До старта составьте словарь вариантов названия бренда и правила разрешения неоднозначных упоминаний. Для рекомендаций используйте содержательный критерий: система должна представить компанию как вариант решения задачи. Простого совпадения названия недостаточно.
Часть ответов полезно разметить двум специалистам независимо. Если они по-разному понимают слово «рекомендация», сначала уточните правила, затем пересмотрите спорные ответы.
Ошибки сервиса, отказы отвечать и отсутствие AI-блока храните раздельно. Например, при оценке присутствия в поисковом AI-блоке отсутствие блока можно заранее определить как нулевую видимость на проверку. Дополнительно рассчитывайте долю упоминаний среди состоявшихся AI-ответов. Технический сбой не следует молча превращать в отсутствие бренда.
Сделайте размещения измеримым вмешательством
Для каждой внешней публикации подготовьте карточку:
- URL, площадка, дата и время выхода;
- тематический кластер;
- формат и стоимость;
- название бренда и связанные с ним проверяемые факты;
- ссылка на сайт компании, если она предусмотрена;
- доступность текста и последующие изменения страницы;
- сведения о копиях и перепечатках.
Выбирайте материалы, в которых связь бренда с темой можно проверить: разбор проекта, интервью, исследование, технический комментарий. Это требование к качеству и проверяемости эксперимента, а не обещание приоритета такого формата у AI-систем.
Если одновременно меняются площадки, форматы и число материалов, единицей воздействия будет весь пакет размещений. Приписать результат отдельной статье без дополнительного сравнения не получится.
Техническую доступность проверяйте применительно к выбранной системе. Например, Google указывает: для появления страницы как поддерживающей ссылки в AI Overviews или AI Mode она должна быть проиндексирована и допущена к показу со сниппетом. Выполнение требований не гарантирует включения; специальных дополнительных требований для этих AI-функций Google не устанавливает. Эти положения нельзя автоматически переносить на другие сервисы.
Не переписывайте правила эксперимента после того, как увидели первые удачные ответы. Если часть размещений не состоялась или осталась недоступной, сохраните их в анализе первоначально назначенного пакета. Отдельно можно показать анализ фактически доступных материалов, явно обозначив изменение состава.
Назначьте повторные проверки заранее
Вариант календаря для пилота:
| Этап | Срок относительно размещений | Назначение |
|---|---|---|
| Исходные проверки | Пять сессий между днями −14 и −1 | Оценить уровень и исходную динамику |
| Размещения | День 0 или заранее заданное короткое окно | Зафиксировать вмешательство |
| Промежуточные проверки | Дни 7, 14 и 21 | Наблюдать траекторию изменений |
| Основное сравнение | Пять сессий в дни 28–32 | Получить результат в выбранном окне |
| Проверка устойчивости | День 42 | Проверить сохранение наблюдаемого изменения |
Этот календарь не означает, что публикации обязаны повлиять на ответы за месяц. Он задаёт срок, в пределах которого проверяется гипотеза.
При двух системах объём основных измерений составит:
60 вопросов × 2 системы × 5 сессий × 2 периода = 1 200 проверок.
Промежуточные проверки и проверка устойчивости считаются дополнительно. Число проверок в этом примере не является расчётом статистической мощности.
Во время теста ведите журнал других изменений: обновлений сайта и карточек компании, рекламы, новых отзывов, публикаций вне эксперимента, изменений продукта и наблюдаемых обновлений AI-сервисов. Если вмешательства совпали по времени и затронули те же темы, вывод об отдельном эффекте внешних статей придётся ослабить.
Рассчитайте изменение относительно контроля
Простое сравнение покажет, насколько выросла метрика. Для учёта изменения контрольной группы можно использовать разность разностей — Difference-in-Differences, или DiD:
Оценка = (эксперимент после − эксперимент до) − (контроль после − контроль до).
В материалах Всемирного банка этот подход описан как сравнение изменений между группами. Для его причинной интерпретации необходимо предположение о параллельной динамике без вмешательства. Похожая динамика до размещений помогает оценить правдоподобие предположения, но не доказывает его.
Рассмотрим условные результаты одной AI-системы. В каждой группе 30 вопросов и пять сессий, поэтому на период приходится 30 × 5 = 150 ответов.
| Группа | До размещений | После размещений | Изменение |
|---|---|---|---|
| Экспериментальная | 30 / 150 = 20% | 60 / 150 = 40% | +20 п. п. |
| Контрольная | 45 / 150 = 30% | 54 / 150 = 36% | +6 п. п. |
Разность разностей: (40% − 20%) − (36% − 30%) = 14 процентных пунктов.
Относительный рост экспериментальной группы равен: (40% − 20%) / 20% × 100% = 100%.
Это разные величины. «Рост на 100%» описывает удвоение исходной доли, но не учитывает контроль. «14 процентных пунктов» — оценка разницы изменений при выбранном дизайне.
В рабочем анализе сначала рассчитайте показатели по кластерам и сопоставленным парам. Заранее выберите веса: например, одинаковый вес каждого кластера. Агрегированная таблица выше удобна для объяснения арифметики, но может скрывать ситуацию, когда весь рост обеспечила одна тема.
Проверьте неопределённость результата
Одна точечная оценка ещё не показывает, насколько результат устойчив. Представьте распределение изменений по кластерам и сессиям, а для основного показателя — интервал неопределённости, рассчитанный с учётом дизайна.
Повторные ответы внутри одного кластера нельзя автоматически считать независимыми наблюдениями. Такая подмена экспериментальных единиц повторными измерениями — проблема псевдорепликации, описанная в классической методической работе Хёрлберта 1984 года. Здесь этот принцип применяется к организации AI-проверок, а не заимствуется как исследование AI-поиска.
Для предложенного пилота можно использовать анализ, учитывающий случайное назначение внутри пар кластеров. При шести парах независимых единиц немного: даже сотни ответов не гарантируют точной оценки эффекта. Формальный анализ мощности требует отдельных исходных данных о вариативности и ожидаемом размере изменения.
Если интервал включает нулевой эффект, корректная формулировка: «В этом эксперименте убедительного подтверждения эффекта не получено». Это не равнозначно доказательству отсутствия любого эффекта.
Если оценивается много сервисов, тем и дополнительных метрик, выделите заранее основной тест. Остальные результаты обозначайте как дополнительные или разведочные, особенно если их выбрали после просмотра данных.
Свяжите изменение с конкретными публикациями
Контрольное сравнение оценивает изменение метрики. Для проверки предполагаемого механизма дополнительно изучите источники ответов.
Для каждого размещения посчитайте долю проверок, в которых отображается его URL. Затем вручную проверьте, поддерживает ли материал именно утверждение о бренде: ссылка на статью в общем списке ещё не показывает, к какой части ответа она относится.
Полезно сопоставить три наблюдения: выход публикации, появление ссылки на неё и изменение рекомендации бренда в соответствующем кластере. Совпадение этих событий усиливает обоснованность гипотезы, но не раскрывает внутреннюю логику системы.
Если ссылки на публикацию нет, по одному сходству формулировок нельзя уверенно приписать ответ этому материалу. Аналогично, появление ссылки не доказывает, что публикация была необходимой причиной рекомендации.
Для дополнительной проверки можно использовать отчёт AI Performance в Bing Webmaster Tools. В описании Microsoft он охватывает цитирование контента сайта в Microsoft Copilot, AI-ответах Bing и отдельных партнёрских интеграциях. Отчёт показывает цитируемые URL и динамику цитирования; эти данные не следует выдавать за позиции или за полную картину всех AI-систем.
Учтите принадлежность домена: отчёт собственного сайта не заменяет наблюдение за внешней статьёй на сайте издателя. Данные по такой публикации потребуют доступа со стороны площадки либо фиксации источников непосредственно в тестовых ответах.
Какие выводы эксперимент не позволяет сделать
Даже при положительном результате остаются границы интерпретации.
Обучение модели. Этот протокол не устанавливает, вошла ли публикация в обучающие данные. Он измеряет наблюдаемые ответы и источники.
Общий охват. Рост на фиксированной панели вопросов не показывает, сколько реальных пользователей увидели бренд.
Переносимость. Результат одного языка, региона, сервиса и режима нужно проверять отдельно для других условий. Сам Google отмечает, что AI Mode и AI Overviews могут использовать разные модели и методы и показывать разные ответы и ссылки.
Вклад каждой статьи. Пакет размещений позволяет оценивать пакет. Для сравнения площадок и форматов потребуется другой дизайн.
Коммерческий результат. Рекомендация бренда не равна переходу или продаже. Для бизнеса отдельно анализируйте измеряемые визиты, обращения и сделки, описывая ограничения атрибуции.
Отсутствие наблюдаемого роста. Оно может означать отсутствие эффекта в выбранном окне, недостаточную точность измерения или проблемы с доставкой вмешательства. Различить эти объяснения без дополнительных данных нельзя.
Как оформить итоговый отчёт
Отчёт должен позволять другому специалисту восстановить условия проверки. Включите в него панель вопросов, распределение кластеров, список размещений, даты и настройки сессий, правила разметки, исходные ответы и ссылки.
Результаты покажите отдельно по сервисам, тематическим кластерам и основным метрикам. Приведите абсолютные количества, знаменатели, изменения долей и оценку относительно контроля. Рядом укажите неопределённость, пропуски, отклонения от протокола и сопутствующие события.
Для условной таблицы выше допустима такая формулировка:
В основном окне доля ответов с рекомендацией выросла с 20% до 40% в экспериментальной группе и с 30% до 36% в контрольной. Разность изменений составила 14 процентных пунктов. Без оценки неопределённости и проверки предпосылок этих данных недостаточно для окончательного причинного вывода.
Решение о продолжении размещений стоит связывать с заранее выбранным порогом практической значимости, устойчивостью результата и стоимостью кампании. Даже положительный пилот обосновывает следующий проверяемый шаг в конкретных условиях, а не универсальное обещание роста AI-видимости.
