Вопрос по robots.txt

12
AnNew
На сайте с 30.06.2009
Offline
22
#11

Я считаю что kimberlit прав.

А вообще, есть такая функция удобная - анализ роботс.txt(http://webmaster.yandex.ru/robots.xml) - там же в вебмастере. Вот туда пишите все что в голову влезет - и потом проверяете свои страницы, там все станет ясно.

A
На сайте с 13.06.2010
Offline
6
#12

Раньше все норм было, последние два дня ввожу эти же страницы в проверку - пишет разрешен к индексированию, плюс они появились в индексе.

Все наладилось. Убрал пустые строки. И дописал перед всеми запретами имя яндекса, хотя раньше и так понимало☝

S
На сайте с 23.01.2006
Offline
160
#13
kimberlit:
Зачем две, если можно одну?

Ну для надежности. ТС же просил вполне конкретные виды урлов убирать. Следовательно, мое правило рубит урлы вида:

/directory/index/?...

/index/?...

но не трогает урлы вида:

/directory/index.php?...

/index.php?...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий