Это Яндекс YML. Можно подключить через маркет или без маркета настроить файл YML.
Было похожее недавно.
Клиенту вздумалось поменять урлы на "красивые и на английском, а не транслитом". Ну он не спрашивая меня и поменял. Позиции упали, траф порезало, я пару дней искал в чем может быть причина, пока не распарсил сайт и выдачу и не сравнил одно с другим.
Ну отчасти вы правы, страницы могут в индекс попасть даже если закрыты в robots, но это практически никогда не происходит.
А прописывать в основном лучше <meta name="robots" content="noindex, follow" /> чтоб роботы могли ходить по ссылкам.
Disallow: /? - не будет работать.
Вот так Disallow: /*? - будет.
Вообще Disallow: /*? клевая штука, закрывает от индексации весь ненужных хлам, сортировки, и прочее (все урлы где есть символ " ? ").
Сервис Мутаген неплохо конкурентность определяет. Я часто пользуюсь.
В середине декабря сделал разовую оптимизацию нового сайта по строительству домов.
Не знаю как с траффиком - у меня нет метрики от сайта, но позиции в Яндексе на сегодня вот такие. Думаю, это неплохой результат для трехмесячного сайта, хоть и в регионе, но все же в конкурентной тематике.
Часто обмениваюсь Сбер на WMR. Сделки проходят быстро, сотрудничеством доволен. Рекомендую!
Продвижение сайта региональной коммерческой больницы.
Дело программиста сидеть и программировать, а не указывать другим что и как делать правильно.
Ты говоришь - он делает, а не наоборот.
Но вообще - это вашему сайту не поможет. Надо нормальный дизайн, нормальное семантическое ядро, нормальные теги.
Появились свободные часы на продвижение - обращайтесь.