Alx_

Рейтинг
6
Регистрация
23.04.2013
robots.txt
Dombrov:
От самого гугла:
"Файл robots.txt не является обязательным к исполнению"
https://support.google.com/webmasters/answer/156449?hl=ru

И там же ниже он говорит о том. что для исключения страницы используйте метататег noindex. При этом в роботсе запрет на эту страницу не должен стоять.

Но это не страница, а результат поиска

---------- Добавлено 12.12.2013 в 13:39 ----------

Константин Валентинович:
Если надо гарантировано, то положите в эту папку файлик .htaccess со следующим содержанием:
deny from all
Доступ в эту папку будет для всех закрыт:)

А в таком случае даная страница будет закрыта так же для пользователей? :)

robots.txt
Daftix:
И так должно работать.

Если речь идет о Гугла, то не парьтесь — он во многом игнорирует роботс.тхт

А что же делать если необходимая мне страница не индексируется, а это чудо в индексе? :)

robots.txt
Алексей Барыкин:
Disallow: /programs/filter/
или шаманить с символом *

Спасибо, т.е. чтобы запретить необходимый каталог нужно указывать к нему предыдущий путь?

---------- Добавлено 12.12.2013 в 12:46 ----------

Dombrov:
Если в индексе яндекса, то должно быть в роботс:
User-Agent: Yandex
Disallow: /programs/filter/

В вебмастере яндекса есть настройка индексирования-Анализ robots.txt
Там ниже список URL можете туда добавить урлы, которые Вы хотите проверить и узнать будут ли они запрещены либо нет.

В индексе гугла

Нужен совет
avduevsky:

Для начала robots перенастройте, почистите дубли всех страниц.

Спасибо за совет

Нужен совет

http://www.legaladdress.com.ua/

Домену пол года