Получение от Яндекса списков каталогов

Прошу рассматривать пост как творческое развитие темы (не более!) "Как начать раскрутку в Яндексе." поднятой в топике:

/ru/forum/29605

====================

Жил не тужил. Пиво пил и в потолок типа плевал. Но случилось мне получить от начальства большой пинок для начального ускорения и настоятельное пожелание принести в клюве много каталогов. Очень много. Не одну тысячу и не две. Каталогов нужно было реально много. Принести каталоги нужно "на вчера"... как обычно. Ежели конвертировать туманное пожелание начальства на составляющие то получалась следующая задачка.

1. Нужны адреса каталогов.

2. Каталогов нужно много. Чем больше тем лучше.

3. Срочно нужна система "нажал кнопку - получил чистенький список каталогов"

Сортировка по тематике, сортировка по требованиям проставления беклинка, белый каталог или серо-буро-малиновый и прочее было оставлено на потом.

Сильно подозреваю, что умудренные временем аксакалы SEO юзают под это дело хитро заточеный скрипт или cемонитор. Ни того ни другого под рукой не было. :smoke:

А поскольку интересы мои лежат в довольно экзотической области то линков на uhuhu.ru, wlist.com.ru и 1ps.ru и небольшой базы проверенных белых каталогов (для allsubmitter) мне обычно хватало с головой.

Для решения задачки использовал две утилитки.

Shadow Web Analyzer 3.3 - использовал для вытаскивания выдачи поисковика по запросу и экспорта его в html- файл. Живет это прога тут - http://www.safety-lab.com/

Extract Link 2.4 - использовал для поиска в полученном html-файле url адресов и экспорта в простой текстовый файл. Впрочем для это цели в сети есть громадное количество утилит. Видел даже фриварные.

Что дальше? Открыл страничку Яндекса. Вбил в строку поиска domain="catalog" (поиск доменов имеющих в составе слово catalog)

Скопировал из адресной строки браузера http://www.yandex.ru/yandsearch?text=domain%3D%22catalog%22 и передал эту строчку в Shadow Web Analyzer. Как я уже говорил эта утилитка самостоятельно стучится в яндекс с этим запросом и вытаскивает постранично весь запрос. После того как она соберет все линки я конвертирую их в html документ. Далее достаточно просканировать этот файл любым грабером url адресов. Я использовал Extract Link 2.4 - быстро, удобно, выстраивает по алфавиту и "на лету" удаляет дубли. В полученном списке явно лишними являются многочисленные поддомены яндекса - их можно убрать ручками. Для окончательной шлифовки список можно прогнать любым линк чекером - для удаления мертвых доменов. Если есть желание то в сети есть сервисы для проверки PR и ТИЦ целыми списками.

http://n0body.com/scripts/pr.php

http://subjective.ru/seo_tools.php

Описанный мною механизм достаточно кривой. Даже спорить не буду. Но для решения задачки мне его хватило.

Поиск доменов (с надеждой на каталог!) в Яндексе.

domain="dir"

domain="catalog"

domain="cat"

domain="katalog"

domain="links"

Поиск доменов с ключевыми словами.

#keywords=(каталог)

#keywords=(каталог сайтов)

#keywords=(catalog)

#keywords=(добавить ресурс)

#keywords=(добавить сайт)

#keywords=(добавить url)

#keywords=(add url)

#keywords=(Добавить ссылку в каталог)

При желании поиска именно тематических каталогов в каталоге яндекса можно искать по беклинкам привязанным к числу ТИЦ.

Аналогичные эксперименты с Гугль, Яху, альтависта, мсн укладывается в эту же схему: "запрос-вытаскивание выдачи-экспорт в html-поиск url-экспорт в txt".

Кстати. Если сравнивать результаты "отнотипной" выдачи яндекса, гугля и той же яху то легко заметить, что один и тот же запрос в разных поисковиках приносит большое количество дублей но и определенный процент новых адресов.

зы. в любом случае каждый адрес из окончательного списока все равно приходится просматривать лично. "Но это уже другая история" (с)