Робот Яндекса: - Новые шуточки.

di_max
На сайте с 27.12.2006
Offline
262
1203

Ходил "Yandex/1.01.001 (compatible; Win16; I)" себе, ходил и вдруг... Резко сменил тактику.

Делает 2 запроса: robots.txt + еще 1 страничку и пауза.

И опять повторяется...

А тут еще и "YaDirectBot/1.0" выдал!

Есть странички, классика CGI с параметрами: /page.name?Param1=Value1&Param2=Value2

Этот бот делает обычный запрос и тут же 2 еще:

1. /page.name?Param1=Value1 - 200, что быть и должно.

2. /page.name?Param2=Value2 - 404, что естественно.

В схеме навигации Param2 без Param1 - не существует...

---------

Такое - впервые вижу...

// Все наши проблемы от нашего не знания...
upyrj
На сайте с 17.09.2005
Offline
140
#1
di_max:
А тут еще и "YaDirectBot/1.0" выдал!

di_max, а человеки перед этим по этим URLам не пытались ходить?

Денис Иванов Важно: обменом валют я не занимаюсь.
di_max
На сайте с 27.12.2006
Offline
262
#2
upyrj:
di_max, а человеки перед этим по этим URLам не пытались ходить?

Да нет. Интереснее, что с этого же IP перед этим и обычный робот был.

Могла и ошибка в боте быть, Юзер-Агент поменять дело простое или просто забыли сменить.

(Как оно уже было)

Если это еденичный случай, то "ну и ладно", а если распространено - выводы интересные.

ВЖ
На сайте с 20.11.2007
Offline
91
#3

Может они ищут незначащие параметры в строке запроса, чтобы дубли не качать или за сапу ловят. :)

M9vo4ka
На сайте с 04.07.2007
Offline
18
#4

В рассылке г-на Ашманова было сказано, что новый алгоритм уже введен. И можно предположить, что это его последствия. Но, думаю, что надо чуть подождать. Потому что АП-ы уж больно странно происходят, индексация новых страниц медленно идет...Шаманство одним словом. Но за идею спасибо. Будем думать!🚬

Тьма везде, но я не чахну.
Елистратов
На сайте с 21.04.2007
Offline
229
#5
upyrj:
di_max, а человеки перед этим по этим URLам не пытались ходить?

Денис, я в панели вебмастера в разделе ошибок часто встречаю такие приколы на многих сайтах...

Урла не где нет и не пытались по ним перейти люди..Такое чувство что это не просто боты а искуственный интелект:) Они пробуют подбирать урл, генерируя новый урл из частей существуещего...Что-то ищат?🙄

А теперь вспоминаем темку в которой говорилось, как на половине движков сайтов легко проверить саповские ссылки;)

ДА бы быть не голословным....

Ошибок: 157 | Загрузить: excel csv
URL Дата последнего изменения Дата последнего посещения
/2007/09/11/engine/rss.php
Найдено по внутренней ссылке



/2007/09/17/engine/opensearch.php
Найдено по внутренней ссылке



/2007/09/17/engine/rss.php
Найдено по внутренней ссылке



/2007/09/17/index.php?do=addnews
Найдено по внутренней ссылке



/2007/09/17/rss.xml
Найдено по внутренней ссылке



/2007/09/18/engine/opensearch.php
Найдено по внутренней ссылке



/2007/09/18/engine/rss.php
Найдено по внутренней ссылке


/2007/09/18/index.php?do=addnews
Найдено по внутренней ссылке


/2007/09/18/rss.xml
Найдено по внутренней ссылке



/2007/09/19/engine/opensearch.php
Найдено по внутренней ссылке



/2007/09/19/engine/rss.php
Найдено по внутренней ссылке


/2007/09/19/index.php?do=addnews
Найдено по внутренней ссылке


Таких внутренних ссылок нет

Вот еще пример.

/messages.php?msg_send=10
Найдено по внутренней ссылке



/messages.php?msg_send=12
Найдено по внутренней ссылке



/messages.php?msg_send=14
Найдено по внутренней ссылке



/messages.php?msg_send=15
Найдено по внутренней ссылке



/messages.php?msg_send=16
Найдено по внутренней ссылке



/messages.php?msg_send=17
Найдено по внутренней ссылке



/messages.php?msg_send=18
Найдено по внутренней ссылке



/messages.php?msg_send=25
Найдено по внутренней ссылке



/messages.php?msg_send=28
Найдено по внутренней ссылке



/messages.php?msg_send=30
Найдено по внутренней ссылке



/messages.php?msg_send=33
Найдено по внутренней ссылке



/messages.php?msg_send=34
Найдено по внутренней ссылке



/messages.php?msg_send=36
Найдено по внутренней ссылке



/messages.php?msg_send=37
Найдено по внутренней ссылке



/messages.php?msg_send=38
Найдено по внутренней ссылке



/messages.php?msg_send=4
Найдено по внутренней ссылке



/messages.php?msg_send=41
Найдено по внутренней ссылке



/messages.php?msg_send=42
Найдено по внутренней ссылке



/messages.php?msg_send=46
Найдено по внутренней ссылке



/messages.php?msg_send=47
Найдено по внутренней ссылке



/messages.php?msg_send=48
Найдено по внутренней ссылке



/messages.php?msg_send=49
Найдено по внутренней ссылке



/messages.php?msg_send=5
Найдено по внутренней ссылке



/messages.php?msg_send=50
Найдено по внутренней ссылке



/messages.php?msg_send=51

Такие ссылки есть..Но сайт пустой и там даже 3 х личных сообщений нет:)

C уважением, Евгений. Покупаю аккаунты AdSense ()
di_max
На сайте с 27.12.2006
Offline
262
#6
Елистратов:
Такое чувство что это не просто боты а искуственный интелект:) Они пробуют подбирать урл, генерируя новый урл из частей существуещего...Что-то ищат?🙄

А теперь вспоминаем темку в которой говорилось, как на половине движков сайтов легко проверить саповские ссылки;)

Первая мысль была в этом направлении.

Но... Ни САПы на этих страницах нет, ни внешних ссылок вообще, кроме "счетчиков".

А они - в открытую пописаны.

В общем - Эра хитроу(ж)ных Ынтилектов наступает. ;)

Елистратов
На сайте с 21.04.2007
Offline
229
#7
di_max:
Первая мысль была в этом направлении.
Но... Ни САПы на этих страницах нет, ни внешних ссылок вообще, кроме "счетчиков".

Сегодня нет - завтра есть;)

di_max:

В общем - Эра хитроу(ж)ных Ынтилектов наступает. ;)

Эволюция🚬

Подобное начал замечать с января...

di_max
На сайте с 27.12.2006
Offline
262
#8
Елистратов:
Сегодня нет - завтра есть;)

Привентивная атак Яндекса на потенциальные САПо-площадки.;)

- Сэр! Снимаю шляпу!

PS: - А вот дулю им! ☝И САПе и Яндексу.😆

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий