это скорее всего архив и популярные, но они выдают - 404 ошибку
архивы я обычно закрываю
эти нужно закрыть обязательно
либо искать плагины подходящие, но вряд ли они подойдут для столько тщательной настройки, либо к программистам
Не думаю, что дело в перелинковке, хоть она и некачественная. Нужно смотреть ресурс
Дубли бывают разные. Постраничная навигация - не дубль и закрывать ее от индексации не нужно! Сортировку нужно закрывать на сайте:
<meta name="robots" content="noindex, nofollow" />
и в robots.txt
Покажите пример "загадочной товарной категории"
Из индекса они пропадут далеко не сразу. Хотите ускорить - можно удалить страницы из кеша в инструментах вебмастеров.
В инструментах вебмастеров есть сообщения о мерах, принятых вручную?
Ответ я расписала в этой теме подробно еще до конференции :)
хотите - отправьте url в личку, я посмотрю
"сайтмэп создается для борьбы с дублями" - извините, но это ерунда. Для борьбы с дублями чистят движок, чтобы он их не генерил, прописывают канонические ссылки, иногда даже ставят редиректы. Закрыть в роботс мало - нужно и на сайте закрыть, а лучше прописать канонические - если это возможно.
Если у вас стандартный движок - посмотрите, что закрывают владельцы сайтов на том же движке, так проще сориентироваться при отсутствии опыта.
Первый скрин у ТС просто с пробелом: http://s020.radikal.ru/i719/1311/80/93d72985330a.png
Если вы хотите узнать точный ответ на данный вопрос - вам следует написать на форум Google для вебмастеров, где изучат ваш сайт, ваш акк в инструментах и выдадут полную информацию, если пожелают, конечно.
Если не охота тратить время на ерунду - развивайте сайт. ВСЕГДА не совпадает кол-во проиндексированных, кол-во в карте, кол-во в выдаче и т.д.
1. Для тех случаев, если вам нужно запретить что-то в яндексе, но не запрещать в гугле или наоборот
2. Не нужно закрывать все, что есть на фтп - иконки, скрипты, стили (.ico, .css, .js). Иконка favicon.ico, например, выводится в результатах поиска в Яндексе.
Нужно запрещать страницы, которые генерирует движок и которые не нужно отправлять в индекс, включая страницы регистраций, напоминания пароля и т.п.
Т.е. нужно четко понимать что запрещать, а что нет, как запрещать и для чего.
3. Архивируют часто для того, чтобы карта занимала меньше места, либо такая особенность движка. Место расположения так же не всегда зависит от желаний владельца сайта )) Но некоторые и прячут - чтобы никто, кроме поисковиков не мог ее найти :)
