Робот-зеркальщик. Приходит на сайт только по случаю подозрений на присутствие в базе Яндекса дубля страницы. Как следствие, приходит асинхронно и берет странички, как правило, по одной.
Дума, ничего путного не получится из затеи.
Те, кто знает, что да как, не будут рассказывать, т.к. это их хлеб. А те, кто будет рассказывать, вряд ли точно знают, что да как делать лучше (именно потому это НЕ их хлеб ;)).
Самое простое, как можно получить наиболее точные знания по этому вопросу - выработать их самостоятельно.
Скорее всего, после того, как Вы поймете, скольких трудов стоит не только их выработать, но и поддерживать в актуальном виде, продавать их расхочется... :D
Эх, человече... Обмен ссылками, конечно, штука хорошая, только тут как с сексом: беспорядочные связи редко приводят к хорошим последствиям.
Мой совет, не обменивайтесь ссылками с ресурсами, которые никак не будут интересны большинству ваших посетителей. В противном случае сайт по виду превратится в помойку, что вряд ли скажется на лояльности посетителей.
Лучше подумайте, как обмен ссылками превратить в ппособ привлечения не новых сайтов, а новых посетителей вашего сайта и увеличения полезности вашего сайта для уже существующих посетителей (а значит - и их лояльности).
А про эту затею: не думаю, что из нее на этом форуме что-либо выйдет... Здесь немного не для того форум, как мне кажется.
Все они пропадут из базы сразу же, как только поисковик попробует проиндексировать их снова, возьмет robots.txt и поймет, что теперь их индексировать нельзя.
С Рамблером особо - они пропадут из базы не позже, чем через 7 дней от момента запрещения в robots.txt, правда видно это будет, конечно, только после очередного обновления оной.
Увы, такой "болезнью" страдает не только Turtle, но и Яндекс, Рамблер и Апорт... :(
Если Рамблер с Апортом по каким-то причинам еще мало грузят сервак (хотя даже их приход я могу точно сказать по сводной суточной статистике, т.к. там просто виден огромный пик хитов и килобайт), то Яндекс откровенно балансирует на гране DoS атаки.
Видно, из крупных поисковиков, кроме Google, никто толком и не читал рекомендации для индексирующих роботов, где четко и ясно сказано, что к одному IP-адресу робот в минуту должен делать не более 10 запросов (говорю по памяти - число может быть и не такое, но все же).
Судя по описанию, причина в том, что робот P может при запросе в заголовке Accept (обязательном для протокола HTTP 1.1) выдавать как допустимые только форматы картинок "image/jpeg image/gif", тогда сервер действительно может ответить 406-м кодом, т.к. он не может robots.txt конвертировать в картинку.
Думаю, скоро проблема будет исправлена...
И чего же подозрительного в том, что у Яндекса куча доменов третьего уровня, каждый из которых указывает на свой IP-адрес?..
А чего здесь удивительного? Между прочим, у Рамблера тоже есть страница добавления ссылки в поисковик - http://www.rambler.ru/doc/add_site.shtml - и после ее заполнения вполне реально получить индексирующего робота на сайт сразу же. Более того, в отличие от Яндексового, Рамблерный в первый заход может отбегать по сайту приличное расстояние в странице-километрах. ;)
Я б не против, но что-то они не сильно любят меня... :(
На попытку добавить пришел отлуп со стандартной формулировкой типа "ничего нового у вас нет"... Только они не учли, что когда делают, например, сборник (книгу), нового тоже в их понимании ничего нет, однако важно еще и как и чего собрать. А вот этого они пока, видно, не поняли...
А кто говорил, что мы ждем две недели?.. В Лайкосе мы регистрировались 17-го мая. Сейчас прошло уже более месяца, а от него ни слуху, ни духу...
