"Робот-зеркальщик прошёл модернизацию. Теперь если склейка-расклейка зеркал не происходит более 2 недель, смело пишите в службу поддержки."
http://twitter.com/funsad/status/27933705874
Пустой перевод строки после директивы "Crawl-delay" ни к чему.
Отсутствие параметров у директивы трактуется следующим образом:
По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'.
Отлично. Не Мойша, а Изя, не сто рублей, а трешку, не в бильярд, а в преферанс, не выиграл, а проиграл. :)
Microsoft Excel. ;)
C 10 декабря.
С непрекращающимся штормом в выдаче.
http://analyzethis.ru/?analyzer=update&searcher=rambler&interval=year
C хостингом проблем не было?
Если быть точным, то
разрешает 'Allow:', а 'Disallow:' не запрещает. ;)
А раньше могли? 🚬
