Все вопросы по robots.txt

В robots все пути от new до статьи - открыты.

Возможно вы закрываете tag, p? и другие урлы, которые могут помочь в целом к индексации, но не факт. Это вам надо проверить самостоятельно. И решить нужно/не нужно.

Скорее всего проблема в глубоком уровне статьи. Есть много способов решения - более близкая к 1-2 уровню ссылка на новость, внутренняя перелинковка и др.

после последнего апа залетело почти все в индекс

Да вроде все статьи доступны в трех кликах с главной через "карту сайта"

а если я открою p? то это прямой путь к дублям, а вот насчет tag надо подумать

---------- Добавлено 29.01.2015 в 18:23 ----------

Ах да еще вопрос: в htacces стоял 302 редирект на главную страницу /new, я поменял на 301, правильно ли сделал или надо было 302 оставить?

по поводу 301 - не будем флудить, лучше задать вопрос в соответствующей теме форума.

Скажите, плиз, почему у меня два файла robots.txt?🤪

Один в один в паблик, а др. public.html/_admin/, а там:

User-agent: *

Disallow: /_admin/

Кстати, в первом файле это исключение тоже есть!

Оставьте только 1 файл - в корне(public_html).

http://domain.ru/eta-stranmica/

Как запретить индексацию этой страницы всеми поисковиками в роботсе?

User-agent: *

http://domain.ru/eta-stranmica/

так?

нет

User-agent: *

Disallow: /eta-stranmica/

У меня другой вопрос

Есть ссылка вида mysite.ru/content/${author_url}

Пытался закрыть так

Disallow: /content/$*

Но проверка яши выдает предупреждение, мол "Возможно, был использован недопустимый символ"

Как быть?

как вариант убрать из урл символ "$"

Потому что он использует как символ регулярного выражения при обработке роботса.

Знаю, уже перерыл. Видимо можно решить только внутри самой CMS. Думал будут еще варианты. Спс

З.Ы. Предупреждение ведь не ошибка, интересно влияет ли наличие именно предупреждений на качество индексации?

Писал вопрос в другой теме. Думаю, что правильно писать здесь.

Всем привет.

Имеется ряд страниц, которые необходимо закрыть от индексации. К примеру:

Страница:

http://сайт.ru/index.php/home/east

Закрываю:

Disallow: /*east

Проверяю здесь:

https://webmaster.yandex.ru/robots.xml

Написано - результат - разрешен.

Не понимаю в чем ошибка. Почему яндекс индексирует страницу? Прошу помощи.

Спасибо...