Боты поисковиков выкачивают mp3?

12 3
S
На сайте с 28.10.2005
Offline
318
3463

Заметил в логах, что бот Яху и Яндекса качают с сайта mp3 файлы

Проверил айпишники - не качалки, затыкал роботсом - успокаивались

Спрашивается нафига козе баян? +)

M
На сайте с 03.11.2004
Offline
94
#1

ну если бот обращается к ссылке, то не факт, что он скачает файл

S
На сайте с 28.10.2005
Offline
318
#2
motorhead:
ну если бот обращается к ссылке, то не факт, что он скачает файл

Судя по логам, забирают все


...
74.6.24.213 - - [18/Jul/2007:16:15:07 +0400] "GET /***.mp3 HTTP/1.0" 200 4819150 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
...
PFT
На сайте с 09.06.2007
Offline
9
PFT
#3

бот слущающий мп3? лол :-)

если серьёзно, зачём ему мп3 файлы интересно???

M
На сайте с 03.11.2004
Offline
94
#4
semenov:
Судя по логам, забирают все

...
74.6.24.213 - - [18/Jul/2007:16:15:07 +0400] "GET /***.mp3 HTTP/1.0" 200 4819150 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
...

Не вижу. То, что написано GET - ничего не значит, он лишь мог запросить ответ сервера

не думаю что им ещё и .mp3 надо в базу забивать

filosof
На сайте с 29.10.2005
Offline
171
#5

Ну вообще-то у Яндекса вроде как был какой-то Музыкальный раздел (магазин), кстати что с ним случилось? Вроде как прикрыли

S
На сайте с 28.10.2005
Offline
318
#6
motorhead:
Не вижу. То, что написано GET - ничего не значит, он лишь мог запросить ответ сервера..

...GET /***.mp3 HTTP/1.0" 200 4819150...

где 4819150 - количество отданного контента в байтах

M
На сайте с 03.11.2004
Offline
94
#7
semenov:
...GET /***.mp3 HTTP/1.0" 200 4819150...
где 4819150 - количество отданного контента в байтах

понял, тогда очень любопытно зачем им эти файлики 😕

S
На сайте с 28.10.2005
Offline
318
#8

Что любопытно:


...
87.250.252.30 - - [18/Jul/2007:06:07:35 +0400] "GET /xxx.mp3 HTTP/1.1" 200 65992 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.252.30 - - [18/Jul/2007:06:07:35 +0400] "GET /xxx.mp3 HTTP/1.0" 200 4819144 "-" "Yandex/1.01.001 (compatible; Win16; I)"
...

И так с каждым файлом - по 2 запроса с разным протоколом и разным количеством отданного контента. Итого 1,7 гига за 4 минуты :0

Vetra
На сайте с 07.04.2005
Offline
200
#9
filosof:
Ну вообще-то у Яндекса вроде как был какой-то Музыкальный раздел (магазин), кстати что с ним случилось?

Да вроде живет http://music.yandex.ru/

Только для того, что бы стать партнером надо сделать какие-то осмысленные действия http://music.yandex.ru/about.xml

У меня так сразу 2 догадки:

1. Ходили сотрудники Я. (айпишник тот, а юзер-агента можно и подделать) =)

2. Яндекс может делает какой-нибудь поиск по музыке? ;)

S
На сайте с 28.10.2005
Offline
318
#10
Vetra:

..
1. Ходили сотрудники Я. (айпишник тот, а юзер-агента можно и подделать) =)
..

Тогда:

1. Сотрудники Яндекса пользовались качалкой, руками так не походишь (в среднем по три запроса на загрузку в секунду) +)

2. Сотрудники Яху тоже качают музон со своих айпишников

Но, как правило, качалки тянут в несколько потоков, в данном случае такого не наблюдалось

Вывод: Сотрудники Яндекса заливали mp3 с сервера на сервер пользуясь на халяву мощностями Яндекса? :)

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий