Все вопросы по robots.txt

да точно, сорри

тогда только по рекомендациям гугла, в настройках указывать

в robots txt

Добавьте в файл robot.txt команду noindex с указанием страниц, которые не надо индексировать.

Зайдите в настройки и укажите параметры индексации (сколько времени должно проходить перед переходом на следующий сайт для индексации). Для ботов, которые не учитывают этот параметр, создайте ограничения на индексацию в файле «robots.txt».

Думаю, что здесь вопрос не в прописывании «ноиндекс», а в том, чтобы задать количество страниц, которое робот будет индексировать ежедневно/еженедельно. Вот, только для чего это необходимо? Заливайте контент равномерно, вот и все.

добрый день есть ссылки одного каталога

тест.рф/поиск/......

как запретить поисковикам их индексировать вообще, там может много вложенностей и параметровно псе они относятся к разделу поиск/

Спасибо

Именно вложенности, ну либо сам узел, но только с трэйлинг слешем на конце:

Disallow: /поиск/

Идёт большая нагрузка на многостраничные сайты, добавив в robots.txt директиву Crawl-delay, как быстро Яндекс будет следовать указанному времени между обращениями к страницам?

Пытался закрыть от поиска каталог гео и все последующее вложенности например

тест.рф/гео/категория/1

вот robots.txt кодировка utf-8 без бом

User-agent: *

Disallow: /гео/

Host: xn--80aaf9ayc6c.xn--90ais

Sitemap: http://xn--80aaf9ayc6c.xn--90ais/sitemap.xml

yandex webmaster ругается

	Disallow: /гео/	Возможно, был использован недопустимый символ 

Помогите

---------- Добавлено 03.08.2017 в 15:11 ----------

все разобрался

User-agent: *
Disallow: /%D0%B3%D0%B5%D0%BE/
Host: xn--80aaf9ayc6c.xn--90ais
Sitemap: http://xn--80aaf9ayc6c.xn--90ais/sitemap.xml

---------- Добавлено 03.08.2017 в 15:12 ----------

скажите а как проворить доступность роботам этих страничек, вдруг не так что-то сделал?

---------- Добавлено 03.08.2017 в 15:16 ----------

упс не увидел после проверки там есть поле для ввода и проверки ссылок

Доброго дня.

Начал замечать, что периодически в индексе ПС появляются страницы сайта, которых я там не жду.

Это страницы с неизвестными мне параметрами, типа

Site.ru/?4toZaHren'=1234

Параметры мне не известны, мною не использовались

Стандарнто в роботсе есть чистилка UTM разметки, директива Clean-param:

Но проблема в том, что новые параметры и страницы с этими новыми параметрами проявляются в индексе быстрее, чем я их запрещаю. Надоело уже.

есть ли более кардинальный способ запретить вообще всё что начинается с "?"

Какой-нибудь Clean-param: all

А ещё лучше, вместе с канонизацией ?