Что за зверь такой www.cuil.com, как закрыть от него сайт

B
На сайте с 04.09.2007
Offline
105
511

собссно сабж

логи показывают следующее

38.99.13.124 - - [08/Jan/2009:18:25:39 +0300] "GET /catalog/ipod/index.php?action=ADD2BASKET&id=1045&SECTION_ID=168&register=yes&backurl=%252Fcatalog%252Fipod%252Findex.php%253FSECTION_ID%253D168 HTTP/1.0" 302 20523 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"

как его в роботсе закрыть?

дешевые авиабилеты (https://www.avia-tickets.by/) для самостоятельных путешествий (http://samostoyatelnye-puteshestviya.ru/).
rank
На сайте с 01.12.2006
Offline
110
#1
Грузите апельсины бочками, а ссылки пачками (http://www.sape.ru/r.OAWsDJUMeA.php)™ (с)
BD
На сайте с 11.06.2008
Offline
35
#2

Ну что Вы - это же убийца Гугла!)

А закрыть легко:

User-Agent: twiceler

Disallow: /
Аудит безопасности сайтов (http://ahack.ru)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий