Если мета-тега нет, то ждать. Ну, и выпить.
У меня такой открывается: http://extruziv.ru/robots.txt
Веб, у него чпу на сайте как бы. Да и роботс другой на сайте.
serdget, спугнёте же.
По делу? У человека была проблема с мета-тегом, а два школьника нелепо докопались до её роботса.)
Ты стартпост хоть читал?
И как всё-таки /page/ запрещает индексировать статьи и категории? Ответ с примерами будет? :D
legovih, слился что ли? Обоснование бреда будет?
Такого рода советчиков из раздела апдейтов нельзя выпускать...
Слив что ли? ))) Ожидаемо. Читай сам материал по этой ссылке раз 10 и вникай в суть.
Давай, конкретно какие страницы закрывала эта директива (/page/) на сайте ТС? Приведи пример хотя бы. И как это влияло на индексацию всего сайта?
Так сначала свой бред с /page/ обоснуй. :)
И что было понятно? В чём была проблема? Что она запрещала?
Вы на сайт хоть заходили?