BigMaK: По-моему robots.txt должен быть на всех сайтах. Стандарт такой вроде. Или я ошибаюсь
нет такого стандарта.
Android: наличие роботс.тхт обязательно?
главное, чтобы при его запросе сервер отдавал код 404 или 200, но не редирект 302, как в данном случае. Т.е. или файл есть, или его нет, а не "идите нафиг отсюда по адресу:".
Алексей Гурешов: как мы твои 60тысяч страниц высосем
просто наверное не надо стремиться высосать их за день или два, а то активность робота вебальты вызывает недоумение. Должно быть ограничение на количество документов в минуту, пауза между последовательными скачиваниями с одного сайта (хотя бы пару секунд), только и всего.
С другой стороны лимит на 3к запросов в сутки - это действительно глупо.
У паровоза КПД гораздо больше.
Забанили 8 я уже 40 сделал, забанят 40 я 80 сделаю.
Могу делать и размещать по 200 в сутки.
Василич, это неперспективно и ведет в тупик.
А слабО у заказчика спросить основные слова? ;)
А поискать сайты этой тематики и посмотреть, какие слова там написаны?
Если между этапами вставить паузу по неделе - будут проблемы
А лучше сделать наоборот, перекрытие по времени.
По-моему robots.txt должен быть на всех сайтах. Стандарт такой вроде. Или я ошибаюсь
нет такого стандарта.
наличие роботс.тхт обязательно?
главное, чтобы при его запросе сервер отдавал код 404 или 200, но не редирект 302, как в данном случае. Т.е. или файл есть, или его нет, а не "идите нафиг отсюда по адресу:".
как мы твои 60тысяч страниц высосем
просто наверное не надо стремиться высосать их за день или два, а то активность робота вебальты вызывает недоумение. Должно быть ограничение на количество документов в минуту, пауза между последовательными скачиваниями с одного сайта (хотя бы пару секунд), только и всего.
С другой стороны лимит на 3к запросов в сутки - это действительно глупо.
А чего же до этого висело? До этого вид не портило?
А вы не подумали, что при обмене ссылками партнеры будут искать и требовать ссылку на каталог с главной страницы?
А когда обмен закончен - ее убрали. Обычное дело, чему тут удивляться?
Когда склеятся, так и так будет выдаваться в точности одно и то же. Пока там выдаются страницы с разных сайтов (зеркал).
На стартовой гордо висела ссылка "каталог ссылок"... естественно сайт на первом месте...
По какому запросу? Не вижу связи.
Откуда владельцы сайта узнали, что надо убрать со стартовой ссылку "каталог ссылок"?
Скорее всего, чтобы не портить главную страницу. Вы слишком много додумываете в уме, Яндекс тут вообще ни при чем.
Напишите в /robots.txt:
User-agent: Webalta
Disallow: /
Он все равно нафиг не нужен в блишайшие минимум два года. А там посмотрим.
Кстати, у них где-то есть свой форум, лучше туда жаловаться. Вот тут это тоже обсуждалось.