Распространение массового, созданного искусственным интеллектом (ИИ) контента затрудняет обнаружение спама Google.
ИИ-генерируемый контент также усложняет оценку того, что является качественным контентом для Google.
Однако есть признаки того, что Google улучшает свою способность алгоритмического выявления низкокачественного ИИ-контента.
Спамный ИИ-контент повсюду в сети
Для того чтобы заметить, что генеративный ИИ-контент за последние 12 месяцев проникает в результаты поиска Google, вам не обязательно быть специалистом по SEO.
За это время отношение Google к созданному ИИ-контенту изменилось. Официальная позиция перешла от «это спам и нарушает наши рекомендации» к «наше внимание сосредоточено на качестве контента, а не на том, как производится контент».
Вероятно, что заявление Google о фокусе на качестве вошло во многие внутренние SEO-презентации, продвигающие контент-стратегию, генерируемую искусственным интеллектом. Безусловно, позиция Google предоставила достаточно простора для одобрения этой стратегии управления на многих предприятиях.
Результат: множество созданного ИИ, низкокачественного контента наводнило сеть. И некоторая часть изначально попадала в результаты поиска.
Невидимый мусор
«Видимая сеть» — это тот кусочек сети, который поисковые системы выбирают для индексации и отображения в результатах поиска.
Мы знаем из заявления Панду Найака от Google на тему «Как работает поиск и ранжирование Google», согласно показаниям на антимонопольном суде, что Google «только» поддерживает индекс около 400 миллиардов документов. Google находит триллионы документов в процессе сканирования.
Это означает, что Google индексирует всего 4% документов, которые она встречает при сканировании сети (400 миллиардов / 10 триллионов).
Google утверждает, что защищает пользователей от спама в 99% кликов по запросам. Если это хотя бы приблизительно верно, то она уже устраняет большую часть контента, который не стоит внимания.
Контент — король, а алгоритм — новая одежда императора
Google утверждает, что у нее хорошо получается определение качества контента. Но многие специалисты по SEO и опытные управляющие сайтами не согласны. У большинства есть примеры, демонстрирующие, что контент низкого качества обгоняет контент высокого качества.
Любая уважаемая компания, инвестирующая в контент, вероятно, займет верхние проценты «хорошего» контента в сети. Там, вероятно, будут и ее конкуренты. Google уже устраняет тонны менее успешных кандидатов для включения.
С точки зрения Google, она справилась на отлично. 96% документов не попали в индекс. Некоторые проблемы очевидны для людей, но трудны для машины.
Есть много примеров, которые позволяют сделать вывод о том, что Google хорошо понимает, какие страницы «хорошие» и какие «плохие» с технической точки зрения, но относительно неэффективна в различении хорошего контента от отличного.
Google даже признала это в документах по антимонопольному исследованию. В презентации 2016 года говорится: «Мы не понимаем документы. Мы имитируем.»
Google ориентируется на взаимодействие пользователей с SERP для оценки качества контента
Google ориентируется на взаимодействие пользователей с SERP для понимания «хорошести» содержания документа. Позднее в презентации Google объясняется: «Каждый пользователь получает преимущества от ответов предыдущих пользователей… и вносит ответы, которые приносят пользу будущим пользователям».
Данные взаимодействия, которые Google использует для оценки качества, всегда были предметом ожесточенных дебатов. Вероятнее всего, что Google использует данные взаимодействия в основном с их SERP, а не с веб-сайтов, для принятия решений о качестве контента. При этом исключаются метрики, измеряемые на сайтах, такие как отказы.
Если вы внимательно слушали тех, кто в курсе, Google довольно открыто признала, что использует данные о кликах для ранжирования контента.
Инженер Google Пол Хаар представил «Как работает Google: история инженера по ранжированию Google» на SMX West в 2016 году. Хаар говорил о SERP Google и о том, как поисковик «искренне ищет изменения в кликовых паттернах». Он добавил, что эти данные пользователей «труднее понять, чем вы могли бы ожидать».
Способность Google интерпретировать данные пользователей и превращать их во что-то действенное зависит от понимания причинно-следственных отношений между изменяющимися переменными и связанными с ними результатами.
Результаты поиска — единственное место, которое Google может использовать, чтобы понять, какие переменные присутствуют. Взаимодействие на веб-сайтах вводит в игру огромное количество переменных, выходящих за пределы видимости Google.
Даже если бы Google могла выявить и количественно оценить взаимодействия с веб-сайтами (что, вероятно, было бы сложнее, чем оценка качества контента), это вызвало бы косвенные последствия в связи с экспоненциальным ростом различных наборов переменных, для каждого из которых требуются минимальные пороговые значения трафика, прежде чем можно было бы сделать содержательные выводы.
Google признает в своих документах, что “растущая сложность UX постепенно затрудняет преобразование обратной связи в точные оценочные суждения”, когда речь заходит о результатах поисковой выдачи
Бренды и выгребная яма
Google утверждает, что «диалог» между SERP и пользователями является «источником волшебства» в том, как поисковик «подделывает» понимание документов.
Помимо того, что показало министерство юстиции, подсказки о том, как Google использует взаимодействие пользователей при ранжировании, включены в его патенты.
Один из особенно интересных — «Оценка качества сайта», которая (грубо упрощая) рассматривает такие отношения, как:
Когда пользователи включают брендовые/навигационные термины в свой запрос или когда веб-сайты включают их в свои якоря.
Например, поисковый запрос или якорь для ссылки «seo news searchengineland» вместо «seo news».
Когда пользователи, кажется, выбирают конкретный результат в поисковой выдаче.
Эти сигналы могут указывать на то, что сайт является исключительно релевантным ответом на запрос. Этот метод оценки качества соответствует заявлению Эрика Шмидта из Google: «бренды — это решение».
Это имеет смысл в свете исследований, показывающих, что пользователи имеют сильное предубеждение по отношению к брендам.
Например, когда им было предложено выполнить исследовательскую задачу, такую как поиск вечернего платья или поиск круизного отпуска, 82% участников выбрали бренд, с которым они уже были знакомы, независимо от его рейтинга в SERP, согласно опросу Red C.
Создание брендов и отзыва, который они вызывают, обходится дорого. Вполне логично, что Google будет полагаться на них при ранжировании результатов поиска.
Что Google считает спамом ИИ?
Google опубликовала рекомендации по созданию контента с использованием искусственного интеллекта в этом году, которые относятся к ее политике в отношении спама, определяя контент, «предназначенный для манипулирования результатами поиска».
Политика спама Google
Спам — «Текст, созданный автоматизированными процессами без учета качества или пользовательского опыта», согласно определению Google. Это можно трактовать, как использование кем-то систем искусственного интеллекта для создания контента без процесса человеческой проверки качества.
Можно утверждать, что есть случаи, когда система генеративного искусственного интеллекта обучена на собственных или конфиденциальных данных. Ее можно настроить для предсказуемого вывода с целью уменьшения искажений и ошибок. Можно утверждать, что это по факту проверка качества. Вероятно, это тактика, используемая крайне редко.
Все остальное можно назвать «спамом».
Создание такого вида спама раньше было зарезервировано для тех, кто обладает технической способностью скрапить данные, создавать базы данных для MadLibbing или использовать PHP для генерации текста с использованием цепей Маркова.
ChatGPT сделал доступным спам для широкой публики всего с несколькими подсказками и удобным API, а политика OpenAI по публикации плохо соблюдается и гласит:
«Роль искусственного интеллекта в формулировке контента четко раскрывается так, чтобы ни один читатель не мог пропустить это, и что типичный читатель считал бы достаточно легким для понимания.»
Политика публикации OpenAI
Объем публикуемого веб-контента с использованием искусственного интеллекта огромен. Поиск в Google по запросу «генерация ответа -chatgpt -results» отображает десятки тысяч страниц с контентом, созданным с использованием искусственного интеллекта «вручную» (т.е. без использования API).
Во многих случаях контроль качества был настолько плохим, что «авторы» оставили «генерацию ответа» из более старых версий ChatGPT во время копирования и вставки.
Шаблоны спама от искусственного интеллекта
Когда появился GPT-3, всем было интересно, как Google отреагирует на неотредактированный контент, сгенерированный искусственным интеллектом, и проводили различные эксперименты. Результаты одного из них ниже:
Вот что было сделано:
- Куплен совершенно новый домен и настроена базовая установка WordPress.
- Парсинг топ-10 000 игр, которые продавались на Steam.
- Переданы игр в API AlsoAsked, чтобы получить вопросы, задаваемые ими.
- Использован GPT-3 для генерации ответов на эти вопросы.
- Создана схема FAQPage для каждого вопроса и ответа.
- Парсинг URL YouTube-видео об игре для встраивания на страницу.
- Использован API WordPress для создания страницы для каждой игры.
- На сайте не было рекламы или других монетизационных функций.
Весь процесс занял несколько часов, и появился новый веб-сайт из 10 000 страниц с вопросами и ответами о популярных видеоиграх.
И Google, и Bing активно индексировали контент и в течение трех месяцев проиндексировали большинство страниц. В пиковый период Google ежедневно предоставлял более 100 переходов, а Bing еще больше.
Результаты теста:
Примерно через 4 месяца Google решил не ранжировать некоторый контент, что привело к снижению трафика на 25%.
Через месяц Google прекратил отправку трафика.
Bing продолжал отправлять трафик на протяжении всего периода.
Самое интересное? Google, судя по всему, не предпринимал ручных действий. В Google Search Console не было никакого сообщения, и двухэтапное снижение трафика заставляет усомниться насчет ручного вмешательства.
Такие эксперименты проделывали несколько раз с чистым контентом от искусственного интеллекта:
- Google индексирует сайт.
- Трафик поступает быстро, с устойчивым ростом из недели в неделю.
- Трафик достигает пика, за которым следует быстрое снижение.
Еще один пример — случай с Casual.ai. В этом «грабеже SEO» был спаршен sitemap конкурента, и с использованием искусственного интеллекта было создано более 1800 статей. Трафик также следовал за тем же паттерном, растущим несколько месяцев до замедления, затем снижением примерно на 25%, а затем крахом, который уничтожил почти весь трафик.
Индекс видимости SISTRIX для Causal.app
В сообществе SEO ведутся дискуссии о том, было ли это падение ручным вмешательством, из-за того, что оно получило широкое освещение в прессе. И, скорее всего работал алгоритм.
Еще одним, возможно, более интересным случаем является случай с «совместными» статьями от LinkedIn, созданными искусственным интеллектом. Эти статьи, созданные LinkedIn, приглашали пользователей «сотрудничать», предлагая проверку фактов, исправления и дополнения. За их усилия «топ-участники» получали значок LinkedIn.
Как и в других случаях, трафик рос, а затем снижался. Тем не менее LinkedIn поддерживал некоторый трафик.
Индекс видимости SISTRIX для страниц LinkedIn /advice/
Эти данные указывают на то, что флуктуации трафика вызваны алгоритмом, а не ручными действиями.
Возможно, в этот раз Google оказался прав.
Если это спам, почему он вообще ранжируется?
Ранжирование для Google — это многоэтапный процесс. Ограничения по времени, расходы и ограничения на доступ к данным мешают внедрению более сложных систем.
Хотя оценка документов никогда не прекращается, судя по всему, существует задержка перед тем, как системы Google обнаруживают контент низкого качества. Вот почему вы видите повторяющийся паттерн: контент проходит первичный «тест на вшивость», только чтобы быть выявленным позже.
Давайте рассмотрим некоторые доказательства этого утверждения. Ранее в этой статье мы кратко касались патента Google «Качество сайта» и того, как они используют данные взаимодействия пользователей для формирования этого балла ранжирования.
Когда сайт совершенно новый, пользователи еще не взаимодействовали с контентом на SERP. Google не может оценить качество контента.
И еще один патент для предсказания качества сайта решает эту проблему.
Опять же, чтобы грубо упростить, качество новых сайтов предсказывается путем получения относительной частоты каждой из различных фраз, найденных на новом сайте.
Эти измерения затем сопоставляются с ранее созданной моделью фраз, построенной на баллах качества, установленных для ранее оцененных сайтов.
Если Google по-прежнему использует это, это означает, что многие новые веб-сайты ранжируются на основе «первого предположения» с учетом метрики качества в алгоритме. Позже ранжирование уточняется на основе данных взаимодействия пользователя.
Многие согласны, что Google иногда поднимает сайты в ранжировании на то, что кажется «тестовым периодом».
Ранее предположения были таковы, что проводится измерение, чтобы увидеть, соответствует ли взаимодействие пользователей прогнозам Google. Если нет, трафик падает так же быстро, как и рос. Если сайт проявляет себя хорошо, он продолжает наслаждаться стабильным положением на SERP.
Многие патенты Google содержат ссылки на «неявную обратную связь пользователя», включая этот очень честный комментарий:
«Ранжирующая подсистема может включать ранговый модификаторный двигатель, который использует неявную обратную связь пользователя для повторного ранжирования результатов поиска с целью улучшения окончательного ранжирования, представляемого пользователю».
AJ Kohn подробно писал об этом типе данных еще в 2015 году.
Стоит заметить, что это старый патент и один из многих. С тех пор Google разработал много новых решений, таких как:
- RankBrain, который был явно упомянут в обработке «новых» запросов для Google.
- SpamBrain, один из основных инструментов Google для борьбы с веб-спамом.
Google: Mind the gap Google: Обратите внимание на пробел
Однозначно, что никто, кроме тех, кто имеет непосредственные инженерные знания в Google, точно знает, какой объем данных о взаимодействии пользователя и результатов поиска будет применяться к отдельным сайтам, а не к общей выдаче.
Тем не менее, мы знаем, что современные системы, такие как RankBrain, по крайней мере, частично обучаются на данных о кликах пользователей.
Одна вещь также пробуждает интерес к анализу показаний Министерства юстиции об этих новых системах, сделанному Эй Джей Коном. Он пишет:
«Есть ряд упоминаний о перемещении пакета документов из ‘зеленого кольца’ в ‘синее кольцо’. Все они относятся к документу, который мне пока не удалось найти. Однако, основываясь на свидетельствах, он, по-видимому, визуализирует способ, которым Google отбирает результаты из большого набора в меньший, где они затем могут применять дополнительные факторы ранжирования».
Это поддерживает теорию «треш-теста». Если сайт проходит, его перемещают в другое «кольцо» для более вычислительной или времязатратной обработки для повышения точности.
Сейчас ситуация такова:
Существующие системы ранжирования Google не могут успевать за созданием и публикацией контента, сгенерированного искусственным интеллектом.
Так как системы gen-AI производят грамматически правильный и в большинстве случаев «осмысленный» контент, они проходят «треш-тесты» Google и ранжируются, пока не завершится дополнительный анализ.
Вот в чем проблема: скорость создания такого контента с использованием генеративного искусственного интеллекта означает, что есть бесконечная очередь сайтов, ожидающих первичной оценки от Google.
HCU, перепрыгивающий к UGC, чтобы победить GPT?
Гугл осознает, что это одна из главных проблем, с которой они сталкиваются. Если можно позволить себе немного дикой догадки, возможно, что последние обновления Гугла, такие как обновление полезного контента (HCU), были внесены для компенсации этого недостатка.
Ни для кого не секрет, что системы HCU и « скрытые жемчужины » принесли пользу сайтам пользовательского контента (UGC), таким как Reddit .
Reddit уже был одним из самых посещаемых веб-сайтов. Последние изменения Гугла привели к более чем удвоению его видимости в поиске, за счет других веб-сайтов.
Теория заговора заключается в том, что сайты с UGC, за несколькими заметными исключениями, являются одними из наименее вероятных мест для поиска массового ИИ-контента, так как большая часть контента модерируются.
Хотя они могут не быть «идеальными» результатами поиска, общее удовлетворение от просмотра сырого UGC может быть выше, чем от того, что Гугл последовательно ранжирует, что ChatGPT недавно выдал в сеть.
Фокус на UGC может быть временным решением для улучшения качества; Гугл не может быстро справиться с ИИ-спамом.
Какова долгосрочная стратегия Гугла по борьбе с ИИ-спамом?
Большая часть свидетельских показаний о Гугле на суде министерства юстиции предоставил Эрик Леман, бывший сотрудник Гугла, работавший там 17 лет в качестве инженера-программиста по качеству поиска и ранжированию.
Одной из повторяющихся тем было утверждение Лемана о том, что системы машинного обучения Гугла, такие как BERT и MUM, становятся более важными, чем данные пользователей. Они настолько мощные, что в будущем Гугл, вероятно, будет полагаться на них больше, чем на данные пользователей.
С обрывками данных взаимодействия пользователя, поисковые движки имеют отличный инструмент, с помощью которого они могут принимать решения. Ограничение заключается в том, чтобы собирать достаточно данных достаточно быстро, чтобы следовать за изменениями, поэтому некоторые системы используют другие методы.
Предположим, что Гугл может строить свои модели с использованием таких технологий, как BERT, чтобы массово улучшить точность своего первичного анализа контента. В этом случае они могли бы уменьшить разрыв и резко сократить время, необходимое для выявления и снятия с ранга спама.
Эта проблема существует и может быть использована. Давление на Гугл увеличивается, по мере того как все больше людей ищут возможности с минимальными усилиями и максимальными результатами.
По иронии судьбы, когда система становится эффективной в борьбе с определенным типом спама в больших масштабах, она может стать почти ненужной, поскольку возможности и мотивация принять участие уменьшаются.