robots.txt - приходит ужасный дельфин..

Димитрий
На сайте с 20.01.2007
Offline
137
483

Вот нашёл в логах апача такую строку- ( робот дельфин- жующие по несколько гиг трафика в месяц, непонятно вообще зачем он нужен..если он нереальный)..

[25/Oct/2009:01:52:01 +0400] "GET /robots.txt HTTP/1.0" 200 1246 "-" "Mozilla/5.0 (compatible; Dolphin/1.0; +http://telehouse.ru/crawler.html)"

по данной ссылке:

You can reduce Dolphin Crawler by placing this line to robots.txt:

User-agent: Dolphin

crawl-delay: 10

or disable it

User-agent: Dolphin

Disallow: /

То есть чтобы его закрыть надо-

User-agent: Dolphin
Disallow: /

Вопрос в следующем, если в robots.txt уже есть такая фраза:

User-agent: *

Disallow: /address_book_process.php

Disallow: /account.php

Disallow: /account_edit.php

Disallow: /account_edit_process.php

Disallow: /account_history.php

Disallow: /account_history_info.php

Disallow: /address_book.php

Disallow: /checkout_process.php

То есть для всех агентов- запрещаются такие-то файлы или папки..а потом ниже будет

User-agent: Dolphin
Disallow: /
- будет ли это значит что именно жирный и толстый Дельфин не будет индексировать сайт, а остальные будут?

Разума и осознания! Личный сайт- грани мироздания, психология и всё такое (https://geval.ru)
Tyrbylentnost
На сайте с 15.06.2009
Offline
58
#1

Да, все верно. Тем самым вы закрываете индексацию только для этого робота

Димитрий
На сайте с 20.01.2007
Offline
137
#2

спасибо большое

The WishMaster
На сайте с 29.09.2005
Offline
2543
#3

Не исключен вариант, что роботу будет начхать на это:)

Пешу текста дешыго! Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий