Утечка тысяч документов Google Search API

почему то не обсуждают тут эту тему совсем, собственно всю инфу заливаю сюда, что нашел в тележке

Аноним связался с Рэндом Фишкиным (https://sparktoro.com/blog/an-anonymous-source-shared-thousands-of-leaked-google-search-api-documents-with-me-everyone-in-seo-should-see-them/) и поделился тысячами документов Google Search API.

Некоторые из утверждений совпадают с информацией, раскрытой в ходе антимонопольного дела, многие из них являются новыми и предполагают инсайдерские знания.

Утечка содержит более 2500 страниц документации API, 14 014 атрибутов (функций API), которые, по всей видимости, взяты из внутреннего «Хранилища API контента» Google. Судя по истории коммитов документа, этот код был загружен на GitHub 27 марта 2024 года и удален только 7 мая 2024 года.
Эта документация не показывает такие вещи, как вес отдельных элементов в алгоритмах ранжирования, а также не доказывает, какие элементы используются в системах ранжирования. Но он показывает невероятные подробности о данных, которые собирает Google.
Рэнд связался с Майком Кингом и он также выпустил свой обзор:

https://ipullrank.com/google-algo-leak

Что мы узнали из утечки документации Google Поиска?

Тезисы из поста (https://ipullrank.com/google-algo-leak) Майка Кинга.

Сами документы тут (https://hexdocs.pm/google_api_content_warehouse/api-reference.html).

— системы Google работают в монолитном репозитории («монорепо»), а машины работают в общей среде - это означает, что весь код хранится в одном месте и любая машина в сети может быть частью любой системы Google

— публичные заявления Google, вероятно, не являются намеренной попыткой лгать, а скорее обманывают потенциальных спамеров (а также многих «белых» SEO-специалистов), чтобы сбить с толку о том, как оказать влияние на результаты поиска

— существует функция под названием siteAuthority - авторитетность домена, она используется в системе ранжирования Q*

— в Navboost есть специальный модуль, полностью ориентированный на сигналы о кликах:

badClicks - плохие клики

goodClicks - хорошие клики 

lastLongestClicks - последние длинные клики

unsquashedClicks - несжатые клики

unsquashedImpressions - несжатые показы

unsquashedlastLongestClicks - несжатые последние длинные клики

«Сжатие — это функция, которая предотвращает доминирование одного большого сигнала над другими».

Другими словами, это нормализация данных.

— песочница: в документации модуля PerDocData указан атрибут hostAge, который используется специально «для изолирования свежего спама»

— Navboost упоминается 84 раза, в т.ч. в названии 5 модулей

— Google не упоминает CTR или время пребывания (dwell time) именно в такой формулировке, но явно используются клики по результатам поиска и показатели успешного визита из поиска 

— один из модулей, связанных с показателями качества страниц, получает просмотры из браузера Chrome

— Google явно сохраняет авторов, связанных с документом, в виде текста; они также пытаются определить, является ли объект на странице ее автором

— cуществует целый ряд показателей выявления всплесков спама в анкор-листе (AnchorSpamDays)

— Google использует 20 последних изменений документа при анализе ссылок

— оценка ссылки производится исходя из степени доверия к главной странице (homePageInfo)

— усечение документов: Google подсчитывает количество токенов и отношение общего количества слов в тексте к количеству уникальных токенов (numTokens)

— происходит оценка оригинальности короткого контента (OriginalContentScore)

— происходит оценка соответствия title запросу (titleMatchScore)

— даты важны: Google несколько раз пытается получить даты со страницы (bylineDate, SyntacticDate, semanticDate)

— используется информация из whois домена (RegistrationInfo)

— если более 50% страниц сайта содержит видео, к нему относятся по-другому (isVideoFocusedSite)

— у Google есть классификаторы, которые генерируют оценки для YMYL Health и YMYL News (ymylNewsScore)

— существуют документы золотого стандарта: в описании упоминаются «документы, размеченные человеком» (golden)

— есть фактор, определяющий, насколько сайт придерживается одной темы (SiteFocusScore)

— есть специальный флаг, который указывает, что сайт является «небольшим персональным сайтом» (smallPersonalSite).