Поисковикам пофиг на красоту, им подавай правильные кодв ответов.
"кидает" - это значит, что сайт выдает не 404, а 301 или 302.
А должен не "кидать", а показать по любому несуществующему адресу "красоту".
Вы и программер неправильно настроили сервер.
Disallow: /*/category
не запрещает индексировать
/category/espresso
victor222, вы сначала почитайте ссылки в FAQ про robots.txt, прежде чем в очередной раз так позориться.
Курилка - это место для отдыха участников форума, право на отдых надо сначала заслужить. Даже не можете найти объявление "О порядке доступа к функциям раздела" в платном разделе.
Нужно быть повнимательнее. И пункт 2.8 правил форума перечитайте и выучите его наизусть.
Alex84, в платных разделах не сможете, пока не оплатите доступ.
Рекомендуется сначала читать правила нужного вам раздела.
shedemon, я не про сайты.
А это разве не нонсенс? Разве есть на западе народные методы? Там, по-моему, это вообще не принято.
И еще, от какого слова первая буква "ХЭ". Допустим, у тИЦ известно от чего первая буква, а про xtool я ничего не знаю.
Может вам лучше обратиться за разъяснениями к авторам этого хэ-тула?
Да, но сколько нужно контента на все эти миллионы.
и невнимательные. Сервера нет, ответить некому, robots.txt прописать некуда.
Ничего не выйдет, нужно чтобы сервер был, чтобы он ответил, причем 404 или показал запрет в robots.txt.
А в логах разве не видно?
