Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Нашествие роботов

Y
На сайте с 22.11.2004
Offline
53
yuranich
531

Зарегил сайт в поисковиках.

Периодически в логах наблюдаю следующее:

194.67.18.72 - - [01/Dec/2004:04:38:54 +0300] "GET /robots.txt HTTP/1.0" 404 4250 "-" "Aport"

194.67.18.72 - - [01/Dec/2004:04:38:56 +0300] "GET / HTTP/1.0" 200 12137 "-" "Aport"

Не только от апорта. В чем фигня?

Почему не берутся файлы?

SilverMaster
На сайте с 08.10.2003
Offline
228
SilverMaster
#1
Как писал yuranich
Зарегил сайт в поисковиках.
Периодически в логах наблюдаю следующее:

194.67.18.72 - - [01/Dec/2004:04:38:54 +0300] "GET /robots.txt HTTP/1.0" 404 4250 "-" "Aport"
194.67.18.72 - - [01/Dec/2004:04:38:56 +0300] "GET / HTTP/1.0" 200 12137 "-" "Aport"

Не только от апорта. В чем фигня?
Почему не берутся файлы?

почему не берется?

берется индекс...

Из детских комшаров: "А вдруг ночью придет страшный робот!" Из взрослых: "И криво проиндексирует сайт". Не всякий гик добежит до середины поисковой страницы гугла
AM
На сайте с 28.10.2002
Offline
99
art_monster
#2

Первой строчкой робот пытался взять robots.txt получил 404, и дальше просто соединяется с сайтом на предмет его живости. Если бы robots.txt существовал, ситуация бы не очень изменилась, потому что эти заходы - разведка боем перед дальнейшей атакой более сурьезных роботов.

Beware the robots! :)

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
LM
На сайте с 30.11.2001
Offline
71
LiM
#3

yuranich, к слову о том, что такое robots.txt ;)

С уважением, Андрей Хроленок. Загляни в FAQ по оптимизации и продвижению сайтов (http://www.seoman.ru/FAQ/) Анализатор страниц сайтов (http://www.seoman.ru/analizer/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий