Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Существует ли список бесполезных ботов?

ВC
На сайте с 02.02.2006
Offline
463
Владимир-C
496

По сайту лазает некто http://www.majestic12.co.uk/bot.php, создавая излишнюю нагрузку. А до него был какой-то SolomonoBot, а еще раньше кто-то другой.

Нет ли где списка подобных роботов, которые не связаны с поисковым продвижением в какой-либо из основных поисковых систем?

C
На сайте с 26.10.2013
Offline
54
colorito
#1

http://stats.wikimedia.org/archive/squid_reports/2012-01/SquidReportCrawlers.htm

Услуги по парсингу данных (/ru/forum/939826), единоразовый и регулярный сбор данных. Любые объемы. Скрипты на PHP, создание и доработка, решение проблем с сайтами Пишите в личные сообщения или скайп
ВC
На сайте с 02.02.2006
Offline
463
Владимир-C
#2

Хороший список, спасибо!

Жаль только, что ему уже три года и за это время наверняка наплодилось еще немало.

C
На сайте с 26.10.2013
Offline
54
colorito
#3

Вот чуть свежее

http://stats.wikimedia.org/archive/squid_reports/2015-01-old/SquidReportCrawlers.htm

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий