И там же ниже он говорит о том. что для исключения страницы используйте метататег noindex. При этом в роботсе запрет на эту страницу не должен стоять.
Но это не страница, а результат поиска
---------- Добавлено 12.12.2013 в 13:39 ----------
Константин Валентинович: Если надо гарантировано, то положите в эту папку файлик .htaccess со следующим содержанием:
deny from all
Доступ в эту папку будет для всех закрыт:)
А в таком случае даная страница будет закрыта так же для пользователей? :)
Спасибо, т.е. чтобы запретить необходимый каталог нужно указывать к нему предыдущий путь?
---------- Добавлено 12.12.2013 в 12:46 ----------
Dombrov: Если в индексе яндекса, то должно быть в роботс:
User-Agent: Yandex
Disallow: /programs/filter/
В вебмастере яндекса есть настройка индексирования-Анализ robots.txt
Там ниже список URL можете туда добавить урлы, которые Вы хотите проверить и узнать будут ли они запрещены либо нет.
От самого гугла:
"Файл robots.txt не является обязательным к исполнению"
https://support.google.com/webmasters/answer/156449?hl=ru
И там же ниже он говорит о том. что для исключения страницы используйте метататег noindex. При этом в роботсе запрет на эту страницу не должен стоять.
Но это не страница, а результат поиска
---------- Добавлено 12.12.2013 в 13:39 ----------
Если надо гарантировано, то положите в эту папку файлик .htaccess со следующим содержанием:
deny from all
Доступ в эту папку будет для всех закрыт:)
А в таком случае даная страница будет закрыта так же для пользователей? :)
И так должно работать.
Если речь идет о Гугла, то не парьтесь — он во многом игнорирует роботс.тхт
А что же делать если необходимая мне страница не индексируется, а это чудо в индексе? :)
Disallow: /programs/filter/
или шаманить с символом *
Спасибо, т.е. чтобы запретить необходимый каталог нужно указывать к нему предыдущий путь?
---------- Добавлено 12.12.2013 в 12:46 ----------
Если в индексе яндекса, то должно быть в роботс:
User-Agent: Yandex
Disallow: /programs/filter/
В вебмастере яндекса есть настройка индексирования-Анализ robots.txt
Там ниже список URL можете туда добавить урлы, которые Вы хотите проверить и узнать будут ли они запрещены либо нет.
В индексе гугла
Для начала robots перенастройте, почистите дубли всех страниц.
Спасибо за совет
http://www.legaladdress.com.ua/
Домену пол года