Да спасет, но теперь если вносим адрес site1.ru/robots.txt или site2.ru/robots.txt в скрипт Яндекса http://www.yandex.ru/cgi-bin/test-robots для проверки robots.txt получаем ответ:
Моя страница периодически пропадает из результатов поиска. В чем дело?
Поисковая система Яндекс имеет кластерную архитектуру. Если в момент высокой нагрузки не ответил какой-то поисковый сервер, где случайно находилась ваша страница, в результатах поиска она не будет показана.
Спасет ли вот такая комбинация в .htaccess?
RewriteCond %{HTTP_HOST} ^site1.ru$
RewriteRule ^(.*)$ http://www.site1.ru/$1 [R=301,L]
RewriteCond %{HTTP_HOST} ^site2.ru$
RewriteRule ^(.*)$ http://www.site1.ru/$1 [R=301,L]
Да спасет, но теперь если вносим адрес site1.ru/robots.txt или site2.ru/robots.txt в скрипт Яндекса http://www.yandex.ru/cgi-bin/test-robots для проверки robots.txt получаем ответ:
Сервер вернул код ошибки 301
Кто знает, а давно в FAQ Яндекса http://webmaster.yandex.ru/faq.xml?id=502499#unstable появилась запись
Поисковая система Яндекс имеет кластерную архитектуру. Если в момент высокой нагрузки не ответил какой-то поисковый сервер, где случайно находилась ваша страница, в результатах поиска она не будет показана.
или она там была изначально?
Нужно подождать 1-2 апдейта.
Кому интересно седня пришло письмо от Платона!!
Наверно ап грядет очередной завтра или на днях.:p
А что значит зацикливание можна по подробнее, может кто-то еще что подскажет?
ВОТ этого будет вполне достаточно для перенаправления:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^sitename\.com\.ua$
RewriteRule (.+) http://www.sitename.com.ua/$1 [R=301,L]
проверить можно (и нужно) в любом браузере, если перебрасывает с sitename.com.ua/page на www.sitename.com.ua/page
значит и робота будет также перебрасывать.
Зацикливание я имел в виду, что если не будет строки
RewriteCond %{HTTP_HOST} ^sitename\.com\.ua
то запросы к www.sitename.com.ua будут продоолжаться таким образом, что никогда не завершатся
ddos атака, вроде как, своего собственного сайта ;)
Виноват, погорячился, из трех строчек, нужно еще
RewriteCond %{HTTP_HOST} ^sitename\.com\.ua
или
RewriteCond %{REMOTE_HOST} ^sitename\.com\.ua
иначе будет зацикливание, т.к. www.sitename.com.ua поддомен sitename.com.ua
А почему нельзя просто в корень sitename.com.ua положить .htaccess из двух строчек:
RewriteEngine on
RewriteRule (.+) http://www.sitename.com.ua/$1 [R=301,L]
чтобы все запросы к sitename.com.ua внешним (!) редиректом шли на http://www.sitename.com.ua
для следующего готовят, или сюрпризик какой😮
У меня тоже с часу ночи сегодня усиленно заработал зеркальщик на забаненном сайте. Никогда такой активности вроде не было.
Я уж не знаю, радоваться, или наоборот, огорчаться. :(
Тем более, что зеркал у сайта нет, он весь в поддомене www.
это обычный бот
Не совсем обычный - это зеркальщик.
О url-преобразованиях много написано в разных технических формумах и на специализированных сайтах.
Статья с советами на эту тему и с рабочим примером есть, напрмер, здесь: http://apachedev.ru/2006/07/31/mod_rewrite-preobrazovanie-dinamicheskih-url-v-staticheskie/
(Сайт посвящен работе с Апачем).