Disallow: /*page/$
Disallow: /*page/2/$
Запретит все страницы заканчивающиеся на page/2/ и page/
Вряд ли эта ошибка связана с запретам доступа роботам к файлам *.html. Не работает одно из зеркал. Проверьте зеркала сайта.
Поменяйте на h4 конечно
врут
Все правильно, я так и делаю.
RewriteCond %{HTTP_USER_AGENT} ^Google.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yandex.*
RewriteRule ^.*\.html$ – [F]
Рад за вас :) Не видел, киньте ссылку.
ПС его не игнорируют. У robots.txt рекомендательный характер, и для ваших задач грамотной настройки robots.txt достаточно. Если все таки решили запретить жестко индексацию - пройдите по ссылке запрет индексации. Если лень читать и разбираться - напишите задачу - мы напишем решение.
Есть два варианта, закрыть в robots.txt и в htaccess. Вам зачем это нужно?
Мы же не знаем какие он именно действия выполнил и сколько, какие цели ставил и от чего отталкиваться.
Ну почему же толка нет?
В Я по Нск:
продажа частных домов в новосибирске 13-е место,
продажа в новосибирске - 27
продажа домов в новосибирске -57
