Взгляд по ту сторону

Несколько зачаточных обсуждений на эту тему заходили, но никак не развернулись - хотелось бы продолжить.

Никому не надо объяснять, что особенности SEO, в силу относительно большого числа факторов и наличия черного ящика в виде поисковой системы, влекут за собой невозможность вывода четких "золотых" алгоритмов попадания сайта в TOP. Опытные оптимизаторы постоянно отслеживают наиболее сильные зависимости, их изменение и миграцию, но и в их поле зрения не попадает 100% (хотя, впрочем, они от этого сильно не страдают).

Получается, что практически все сведения о работе поисковиков получается методом научного тыка и при помощи интуиции. Вас это не смущает? Все-таки 21 век на дворе..

Существуют алгоритмы, отлично подходящие для решения подобных задач, которые характеризуются: наличием неявных (для нас) алгоритмов, множеством входящих значений, наличием образцовых результатов.

Почему они до сих пор повсеместно не используются? Пока еще относительно малая коммерческая применимость и сложность подготовки изначальных данных.

Что для этого необходимо: несомненно, потребуется воспроизвести алгоритмы обхода сайтов сети пауками того же Яндекса. Какие здесь объемы, думаю, все хорошо представляют. Далее, эти данные должны будут пройти первоначальную обработку, при чем эта обработка, скорее всего, будет отличаться от обработки Яндексом (имеется в виду обработка перед началом применения правил фильтров, ранжирования и проч.) - она будет более грубая. После этого будет происходить обучение алгоритма - мы имеем исходные данные (структура сайтов, контент, взаимные ссылки и проч.) и мы имеем выходные данные - текущая позиция сайта в каталоге. Это грубо, в общих чертах.

Что будет получено в результате:

Мы не сможем получить математическое представление "магической" формулы идеального сайта - эта информация будет храниться внутри грубо говоря системы взвешенных графов.

Мы не сможем получить образец идеального сайта

Все, что мы получим на выходе - это, скармливая интересующий нас сайт узнать, какое место он занял бы СЕЙЧАС в поиске по нужным позициям, если был бы проиндексирован. С одной стороны, это ничего особенного не дает оптимизатору и не освобождает его от обычной работы, а с другой - дает ему в руки главный плюс, которого у него нет сейчас - это время. Сейчас, чтобы действительно понять, правильны ли его действия, у оптимизатора уходит от нескольких недель, на исправление возможных ошибок - столько же. Наличие же такого "тренажера" убирает фактор времени, дает возможность "прощупать" поисковик уже сейчас, а не завтра.

Несомненно, основной минус такого решения - этот "тренажер" будет отображать текущие состояние поисковика, а не то, каким он станет через пару недель, когда ваш сайт будет проиндексирован - поэтому пауки должны будут работать ежечасно, и алгоритм должен будет постоянно "обучаться" изменениям в поисковой системе. С другой стороны, поисковик меняет свои алгоритмы месяцами, а не неделями..

Лично меня этот вопрос интересует скорее с точки зрения программиста (коим я и являюсь), а не SEO, так что хлеб ни у кого отбирать не собираюсь, скорее наоборот.

Интересует информация/обсуждения о подобных идеях и вообще актуальность такого инструмента для оптимизаторов.

Сразу могу сказать про бюджет такого проекта - он измеряется не меньше чем четырьмя нулями $. Для серебряной пули - в самый раз. :)