У паровоза КПД гораздо больше.
Василич, это неперспективно и ведет в тупик.
А слабО у заказчика спросить основные слова? ;)
А поискать сайты этой тематики и посмотреть, какие слова там написаны?
А лучше сделать наоборот, перекрытие по времени.
нет такого стандарта.
главное, чтобы при его запросе сервер отдавал код 404 или 200, но не редирект 302, как в данном случае. Т.е. или файл есть, или его нет, а не "идите нафиг отсюда по адресу:".
просто наверное не надо стремиться высосать их за день или два, а то активность робота вебальты вызывает недоумение. Должно быть ограничение на количество документов в минуту, пауза между последовательными скачиваниями с одного сайта (хотя бы пару секунд), только и всего.
С другой стороны лимит на 3к запросов в сутки - это действительно глупо.
А вы не подумали, что при обмене ссылками партнеры будут искать и требовать ссылку на каталог с главной страницы?
А когда обмен закончен - ее убрали. Обычное дело, чему тут удивляться?
Когда склеятся, так и так будет выдаваться в точности одно и то же. Пока там выдаются страницы с разных сайтов (зеркал).
По какому запросу? Не вижу связи.
Скорее всего, чтобы не портить главную страницу. Вы слишком много додумываете в уме, Яндекс тут вообще ни при чем.
Напишите в /robots.txt:
User-agent: Webalta
Disallow: /
Он все равно нафиг не нужен в блишайшие минимум два года. А там посмотрим.
Кстати, у них где-то есть свой форум, лучше туда жаловаться. Вот тут это тоже обсуждалось.
