Форум Поисковые системы Прочие поисковики

робот mail.ru развил невиданную активность...

12
gamepark
На сайте с 09.02.2007
Offline
124
gamepark
#11

почему ксатати бот называется mail.ru а не gogo?

[Удален]
#12

я уж его чуть было не забанила, но слишком уж мне нравиться этот поисковик, жалко

S2
На сайте с 08.04.2008
Offline
0
Stass287
#13
Infobud:
У меня уже где-то это робот качает. Видимо что-то будет:)

Может это детский вопросс, а как Вы определяете что на сайте робот ковыряется?

orphelin
На сайте с 02.07.2006
Offline
261
orphelin
#14

да как бы по логам..

Yeugeny
На сайте с 01.02.2008
Offline
42
Yeugeny
#15
Stass287:
Может это детский вопросс, а как Вы определяете что на сайте робот ковыряется?

Если работаете через веб-интерфейс - там обычно есть "Последние посетители"

/***.htm
Http Code: 304 Date: Apr 09 03:33:03 Http Version: HTTP/1.1 Size in Bytes: -
Referer: -
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
/***.htm
Http Code: 200 Date: Apr 09 03:44:48 Http Version: HTTP/1.1 Size in Bytes: 5915
Referer: -
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
/***.htm
Http Code: 404 Date: Apr 09 05:49:57 Http Version: HTTP/1.1 Size in Bytes: 32432
Referer: -
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

/robots.txt
Http Code: 200 Date: Apr 09 06:16:51 Http Version: HTTP/1.1 Size in Bytes: 56
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
/index.htm
Http Code: 304 Date: Apr 09 06:16:56 Http Version: HTTP/1.1 Size in Bytes: -
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
СмотрИте на строчку Agent (User Agent), хотя это не совсем точный показатель (можно User Agent сделать самому какой угодно), для надёжности можно ещё IP по whois смотреть. Но, если сайт свежий - вряд ли это происки конкурентов, на проверку ИП можно забить.

Коды HTTP можете в инете поискать. Основные: 200 - всё нормально, страница скачана, 301 - страница перемещена насовсем, произведено перенаправление на другую страницу, 304 - содержание страницы не изменялось (соответственно, размер указан не будет), 404 - запрошенная страница отсутствует.

Также, логи доступа можно скачать по FTP, но с ними не очень удобно работать, т.к. там способ представления немного иной.

Резкий всплеск прямых заходов. О чем нужно помнить Google: 30-40% страниц с
[Удален]
#16

melt добавил 09.04.2008 в 23:10

Stass287:
Может это детский вопросс, а как Вы определяете что на сайте робот ковыряется?

Apache mod status (extended on)

Ваня Хельсинг
На сайте с 26.09.2007
Offline
230
Ваня Хельсинг
#17

Маленький старенький сайтик, 25-30% трафа с go.mail.ru. Мэйл-бот не заходил недели три. За это время 6 новых страниц было добавлено. Вчера примчался -

просмотры роботами
Mail.Ru search сrawler
85
Качественная работа с репутацией в сети. Ищу постоянных заказчиков https://reputatika.ru/ Отличный хостинг для белых сайтов ( http://goo.gl/o2vSB )
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий