И где тут хоть одна новость украинская или на украинском? Раздел "Бизнес и финансы" меня тоже "порадовал" качеством и разнообразием материалов.
А пиар хороший, конечно.
З.Ы. И дата 6 июля.
Здесь посмотрите:
http://index.bigmir.net/users
У Яндекса, действительно, разные роботы для индексации контента в основной поиск и для корректной выдачи объявлений директа.
Директовский робот YaDirectBot, здесь описан:
http://webmaster.yandex.ru/faq.xml?id=502499#user-agent
Положите у себя пустой файл robots.txt и попробуйте добавить сайт в Яндекс еще раз.
Пишите свою, только с обоснованиями и результатами экспериментов, желательно не на сайтах google и Yahoo, а на чем нибудь попроще.
Надо проверить, что отдает сервер при запросе robots.txt и корня сайта.
Не надо прислушиваться к таким советам, лучше следовать инструкциям Гугля, хотя бы.
K. Ermakov, я уже полную версию у себя выложил.
Можно еще попробовать кликать на ссылки средней кнопкой мышки -- у меня в FireFox в новой вкладке страницы открываются.
Относительно просто можно ограничить потребление трафика от ботов Yahoo и MSN (Slurp и msnbot соответственно) при помощи директивы Crawl-delay в robots.txt.
Если роботы Гугля много едят на сайте, то стоит посмотреть, что именно они едят. Очень может быть, что всякий мусор, вроде страниц с сессиями или страниц для печати, тогда эти страницы надо просто запретить индексировать. Если же сильно большая нагрузка, то в помощи рекомендуется с ними связаться:
