Форум Поисковые системы Прочие поисковики

Что это за бот

Y
На сайте с 28.08.2004
Offline
17
ykar
714

"User-Agent: Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)"

Что это за поисковик что такое поле user-agent ставит (не "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)" а именно в начале добалено User-Agent.

Т.е. я подозреваю что загловок шлется в виде:

User-Agent: User-Agent: Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)

По IP посмотрел - китай.

Вот примерно с таких IP ходит:

202.108.1.16

202.96.63.27

202.108.33.151

А еще, вот что, прежде чем делать GET почти всегда делает HEAD.

И интересное то что CSS-ки вытягивает ...

[Удален]
#1

Во многих программах для скачки сайта можно в поле User-Agent подставить свое название.. например в Телерорт,

он и CSS прекрасно вытягивает. Наверное китайцы скопировали

из логов название реального Юзер-агента прямо вместе с фразой

User-Agent: и влепили в такое поле..

В принципе туда можно что угодно написать хоть фразу:

"Персональный веб-паук Папы-Римского"

У меня, в настройках этой программы проставлены, например, данные Яндекса - очень удобно считывать сайты, где робота определяют по User-Agent и подсовывают соответствующее содержание, отличное от того,

которое выдается обычному браузеру..

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Y
На сайте с 28.08.2004
Offline
17
ykar
#2

Да, но с разных IP идет (и помногу).

Причем HEAD-ов шлет кучу.

И еще, у меня ж ресурс русскоязычный ...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий