мелкий вопрос по robots.txt

aphextwin2000
На сайте с 11.12.2006
Offline
85
285

хоть уже и не начинающий, и проверил вроде все, мучают сомнения, поэтому прошу помощь зала:

не запрещают для эти операторы индексацию сайта

(если да, то почему, по спецсимволам не нашел инфы)

Disallow: /?

Disallow: /_

В топ независимо от алгоритма! Продвижение статьями (http://miralinks.ru/users/registration/from:112463) здесь. Продвинуть сайт (http://seopult.ru/ref/46dea49bdf0dfd84) - теперь легко :)
Brutality
На сайте с 06.01.2011
Offline
153
#1

Индексацию сайта не запрещают, запрещают только страницы, начинающиеся с символов ? и _

* Вероятно, лучший хостинг: выбор Pikabu, AdmitAd, Maxim, ЯП и др. Дата-центры в Европе и США (http://clc.to/fx). Цены от 1 евро * ПРОМОКОДЫ, скидки на хостинг и серверы: FastVPS, Inferno, Fornex, Fozzy (http://clc.to/pc)
GerinG
На сайте с 01.08.2011
Offline
35
#2

В панели яндекс вебмастерс есть сервис, по проверки robots.txt - загружаете список разных страниц и сервис показывает какие страницы Яндекс будет индексировать, а какие нет.

Так же он показывает какими директивами из robots.txt руководствовался сервис. Воспользуйтесь им.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий