Все вопросы по robots.txt

Если файл недавно загружен, возможно, роботс Яндексом ещё используется старый.

Если несколько недель как - пинать саппорт. На ошибки своих роботов они более-менее адекватно реагируют.

Кинуть ссылку на свой robots.txt в ускоренный переобход страниц в Вебмастере

соглашусь ошибка в тексте. "гугл поймет, как не сканировать, а не запрет индексировать."

Добрый подскажите плиз ИМ поиск по сайту нужно закрывать от индексации noindex?

Результаты поиска нужно закрывать через robots

Подскажите какой директивой если ссылка имеет вид в поиске http://.....ru/catalog/?q=%D1%82%D0%B5%D1%81%D1%82&s=

так? Disallow: /*?q=

Да, поисковые системы просят делать это. Закрывать можно через robots.txt, а можно и хитрее: мета-тэгом <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">.

Последний вариант требует доработки движка сайта, но есть надежда, что боты из-за FOLLOW будут переходить по ссылкам с таких поисковых страниц. По крайней мере - улучшится индексация/переиндексация страниц.

Надёжнее всего зайти в панель вебмастера и посмотреть как ПС понимает инструкции вашего robots.txt.

В Яндексе точно есть "фича" - вбиваете url, и он говорит закрыт ли он в robots.txt и какой его инструкцией.

Всем привет. Делаю обнову сайта и разом пришлось переделывать структуру url. Делаю 301 редирект, страниц до к*я. Сделал один из разделов решил открыть его для поисковиков конструкцией ниже. Подскажите так правильно? Доступ разрешить только к subcategory

User-agent: *

Disallow: /

Allow: http://site/category/subcategory

по моему вы запретили индексировать сайт просто и все

а как сделать так что бы роботы индексировали только 1 категорию?