Kost

Поисковикам пофиг на красоту, им подавай правильные кодв ответов.

"кидает" - это значит, что сайт выдает не 404, а 301 или 302.

А должен не "кидать", а показать по любому несуществующему адресу "красоту".

Вы и программер неправильно настроили сервер.

Disallow: /*/category

не запрещает индексировать

/category/espresso

victor222, вы сначала почитайте ссылки в FAQ про robots.txt, прежде чем в очередной раз так позориться.

Курилка - это место для отдыха участников форума, право на отдых надо сначала заслужить. Даже не можете найти объявление "О порядке доступа к функциям раздела" в платном разделе.

Нужно быть повнимательнее. И пункт 2.8 правил форума перечитайте и выучите его наизусть.

Alex84, в платных разделах не сможете, пока не оплатите доступ.

Рекомендуется сначала читать правила нужного вам раздела.

shedemon, я не про сайты.

А это разве не нонсенс? Разве есть на западе народные методы? Там, по-моему, это вообще не принято.

И еще, от какого слова первая буква "ХЭ". Допустим, у тИЦ известно от чего первая буква, а про xtool я ничего не знаю.

Может вам лучше обратиться за разъяснениями к авторам этого хэ-тула?

Да, но сколько нужно контента на все эти миллионы.

и невнимательные. Сервера нет, ответить некому, robots.txt прописать некуда.

Ничего не выйдет, нужно чтобы сервер был, чтобы он ответил, причем 404 или показал запрет в robots.txt.

А в логах разве не видно?