угу, порадовал я его вот такой вот конструкцией и траффика вроде на гигу меньше по итогам месяца стало
User-agent: msnbot
Crawl-delay: 250
disallow: /cgi-bin/
Disallow: /*.mp3$
Disallow: /*.zip$
Disallow: /*.rar$
Но хуже всего нецивилизованные боты, например Search.com.ua любит качать все вподряд и роботсами пользоваться не умеет (по крайней мере по итогам трехмесячной давности общения с аего автором или админом)
А со школьного сайта прокси уже убрали :)
Видать или здесь сидят или же им кто-то траффика нагнал :)
/ru/forum/23650
/ru/forum/comment/931701
вот здесь и для других форумов рассматривалось :)
Если не нужно чтоб адрес оставался тем же, то можно и серверным редиректом...
Огласите плз и мне адресок в ПМ :)
За теоретические сведения спасибо
Но может у кого-то и практикум был? Расскажите плз!
Если содержимое файлика не видно, то его или нету вообще или же он нулевой длинны
Ну, при глюках всякое бывает, или были кривые robots.txt, html код совпадал очень сильно.
И мне пример и информацию в ПМ плз
мдя, теперь все технические параметры SEO пойдут в публику и народ по ним начнет что-то "колдовать" пытаться...
