Форум Поисковые системы Прочие поисковики

MLBot

O
На сайте с 07.02.2010
Offline
38
okmonster
2044

www.metadatalabs.com/mlbot

что за бот такой???? что он делет? и зачем?

бродит по моему музыкальному сайту ! очень интенсивно

sashka_
На сайте с 27.01.2010
Offline
103
sashka_
#1

там же написано!

What is MLBot looking for?
MLBot looks for links to videos from sources like YouTube, CNN, Vimeo and ESPN as well as mp3 audio files. It directs the crawl to favor newer media over older media.

ищет ссылки на видео и mp3 файлы и куда-то их направляет), больше не перевёл(

Знаю PHP, JS, jQuery. Помощь для вашего сайта. (/ru/forum/840509).
O
На сайте с 07.02.2010
Offline
38
okmonster
#2
sashka_:
там же написано!

ищет ссылки на видео и mp3 файлы и куда-то их направляет), больше не перевёл(

хочу узнать что за робот. для чего он работает. может его есть смысл забанить что бы не нагружал сервак

есть ли смысл тратить трафик на него)

Н
На сайте с 09.12.2010
Offline
3
Наира
#3

MLBot-бот-сканер. Вверху правильно написали. MLBot ищет ссылки на видео из источников, таких как YouTube, CNN, ESPN и Vimeo, а также MP3 аудио файлы, направляет сканирование в пользу новых медиа более традиционных СМИ. если он Вам мешает,то заблокируйте его.

Чтобы заблокировать MLBot из некоторых частей Вашего веб-сайта,Вы можете использовать следующий пример:

User-Agent: MLBot

Disallow: / upload_dir /

Disallow: / draft_podcasts /

В этом примере / upload_dir / и / draft_podcasts / являются справочники, которые будут заблокированы для MLBot и не будут сканироваться. Другие части вашего веб-сайт все равно будет сканироваться.

Чтобы заблокировать MLBot из Вашей веб-сайте вы можете использовать это:

User-Agent: MLBot

Disallow: /

OpenAI разрешила сайтам закрывать Google: URL, заблокированные через Изменение User-Agent робота РСЯ

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий