Получение от Яндекса списков каталогов

Bazooka John · 2020-07-28T15:09:56.0000000Z

Прошу рассматривать пост как творческое развитие темы (не более!) "Как начать раскрутку в Яндексе." поднятой в топике: /ru/forum/29605 ==================== Жил не тужил. Пиво пил и в потолок типа плевал. Но случилось мне получить от начальства большой пинок для начального ускорения и настоятельное пожелание принести в клюве много каталогов. Очень много. Не одну тысячу и не две. Каталогов нужно было реально много. Принести каталоги нужно "на вчера"... как обычно. Ежели конвертировать туманное пожелание начальства на составляющие то получалась следующая задачка. 1. Нужны адреса каталогов. 2. Каталогов нужно много. Чем больше тем лучше. 3. Срочно нужна система "нажал кнопку - получил чистенький список каталогов" Сортировка по тематике, сортировка по требованиям проставления беклинка, белый каталог или серо-буро-малиновый и прочее было оставлено на потом. Сильно подозреваю, что умудренные временем аксакалы SEO юзают под это дело хитро заточеный скрипт или cемонитор. Ни того ни другого под рукой не было. :smoke: А поскольку интересы мои лежат в довольно экзотической области то линков на uhuhu.ru, wlist.com.ru и 1ps.ru и небольшой базы проверенных белых каталогов (для allsubmitter) мне обычно хватало с головой. Для решения задачки использовал две утилитки. Shadow Web Analyzer 3.3 - использовал для вытаскивания выдачи поисковика по запросу и экспорта его в html- файл. Живет это прога тут - http://www.safety-lab.com/ Extract Link 2.4 - использовал для поиска в полученном html-файле url адресов и экспорта в простой текстовый файл. Впрочем для это цели в сети есть громадное количество утилит. Видел даже фриварные. Что дальше? Открыл страничку Яндекса. Вбил в строку поиска domain="catalog" (поиск доменов имеющих в составе слово catalog) Скопировал из адресной строки браузера http://www.yandex.ru/yandsearch?text=domain%3D%22catalog%22 и передал эту строчку в Shadow Web Analyzer. Как я уже говорил эта утилитка самостоятельно стучится в яндекс с этим запросом и вытаскивает постранично весь запрос. После того как она соберет все линки я конвертирую их в html документ. Далее достаточно просканировать этот файл любым грабером url адресов. Я использовал Extract Link 2.4 - быстро, удобно, выстраивает по алфавиту и "на лету" удаляет дубли. В полученном списке явно лишними являются многочисленные поддомены яндекса - их можно убрать ручками. Для окончательной шлифовки список можно прогнать любым линк чекером - для удаления мертвых доменов. Если есть желание то в сети есть сервисы для проверки PR и ТИЦ целыми списками. http://n0body.com/scripts/pr.php http://subjective.ru/seo_tools.php Описанный мною механизм достаточно кривой. Даже спорить не буду. Но для решения задачки мне его хватило. Поиск доменов (с надеждой на каталог!) в Яндексе. domain="dir" domain="catalog" domain="cat" domain="katalog" domain="links" Поиск доменов с ключевыми словами. #keywords=(каталог) #keywords=(каталог сайтов) #keywords=(catalog) #keywords=(добавить ресурс) #keywords=(добавить сайт) #keywords=(добавить url) #keywords=(add url) #keywords=(Добавить ссылку в каталог) При желании поиска именно тематических каталогов в каталоге яндекса можно искать по беклинкам привязанным к числу ТИЦ. Аналогичные эксперименты с Гугль, Яху, альтависта, мсн укладывается в эту же схему: "запрос-вытаскивание выдачи-экспорт в html-поиск url-экспорт в txt". Кстати. Если сравнивать результаты "отнотипной" выдачи яндекса, гугля и той же яху то легко заметить, что один и тот же запрос в разных поисковиках приносит большое количество дублей но и определенный процент новых адресов. зы. в любом случае каждый адрес из окончательного списока все равно приходится просматривать лично. "Но это уже другая история" (с)

143

аспирин

11 мая 2006, 10:16

#21

Ну так что? Кому еще нужен скрипт?

Функциональность:

1. Поиск доменов

2. Поиск по ключевым словам

3. Поиск доменов с ключевыми словами

4. Определение тИЦ найденых сайтов

5. Определение PR найденых сайтов

6. Определение тематики найденых сайтов

7. Вывод сайтов только если определена тематика

8. Экспорт результатов в xml

Требование к серверу:

1. PHP >= 4.0 + модуль xml + модуль cURL

2. Zend Optimizer

Стоимость: 15$

Все дополнительные вопросы в личку.

P.S. На данный момент скрипт работает только с Яндексом

MobLaVe.com - Лучший конверт русского мобильного трафика (http://v2.moblave.com/) WAP подписки в один клик! Отличный функционал! Есть все что нужно для отличного конверта! Наш топик ТУТ ()

M

230

maximumx

11 мая 2006, 17:31

#22

Bazooka John:

В теле поста было: "Для окончательной шлифовки список можно прогнать любым линк чекером - для удаления мертвых доменов

Нет, я это прекрасно понимаю, просто гораздо будет лучше, производить проверку сразу.. зачем лишние ресурсы нагружать.

Продвигаю домены руками (http://roke.ru)

V

155

viktorleo

11 мая 2006, 18:17

#23

аспирин, вы бы в сравнении с семонитором дали преимущества...

[Удален]

11 мая 2006, 19:51

#24

viktorleo:
аспирин, вы бы в сравнении с семонитором дали преимущества...

В таком случае примущество у семонитора - он не только яндекс знает 🚬

389

Ceres

11 мая 2006, 20:15

#25

База большая это конечно хорошо, но только если все ссылки ручками и с умом добавляются (что для 99% - геморой и нах не надо). Иначе толку от нее нет.

Там чу-де-са! )

Что такое Power BI и зачем это нужно бизнесу

В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах