Робот запрашивает страницу, расположенную на сервере провайдера. Сервер отдает иногда код 200, а иногда код 304.
Вроде раньше роботы не запрашивали if modified.
Поэтому спрашиваю. Грешу на провайдера. Задал им вопрос, а пока суть да дело, с вами советуюсь.
По вашей просьбе отправляю строки из htaccess с 301 редиректом на www.сайт.ru.
Не особый мастер по этому делу, но, по-моему, строки 2 и 3 клеят страницы без ввв на страницы с ввв. 4 и 5 строки редиректят с индекс.хтм на www.сайт.ru.
У меня так все работает.
RewriteEngine on
RewriteCond %{HTTP_HOST} ^сайт.ru
RewriteRule ^(.*)$ http://www.сайт.ru/$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.htm\ HTTP/
RewriteRule ^index\.htm$ http://www.сайт.ru/ [R=301,L]
Спасибо всем. Буду переделывать на ссылки в корень сайта.
Спасибо, забанил по IP.
Спасибо.
Какой для них может быть в этом смысл?
Не опасно ли это для моего сайта? )
) Опоздал донести свою мысль. Такую же.
Яндексвебмастера буду подключать.
Есть сайт. В статистике посещений в разделе "ошибки HTTP" периодически возникает ошибка 404. Ошибка возникает в ответ на требуемый, но не найденный УРЛ. УРЛ вида \", запрашивает его робот-зеркальщик.
Значит ли это, что где-то есть проставленная ссылка с таким УРЛ?
Sergio Mike добавил 28.09.2010 в 10:55
Опоздал я. Вот такая мысль и закрадывается в голову.
Да понятно, что сайт криво проиндексировался. ТС об этом дал понять сразу.
Надо просто исправлять все это.
Знаете другой способ?
Да, именно так и должен называться.
Почитайте по этой теме.
http://yandex.ru/yandsearch?text=robots-https&rpt=rad&lr=213
Нужно создать файл robots-https.txt и в нем запретить всем поисковикам индексировать сайт.
User-agent: *
Disallow: /
