Странные сканирования сайтов...

SI
На сайте с 25.04.2011
Offline
0
722

Некоторое время назад обнаружил в логах нескольких моих сайтов, расположенных на одном IP странную жизнедеятельность. С некоторой регулярностью заходят явно не люди и просто сканируют сайт. Тащатся только страницы (без сопутствующих css, картинок, обращений к скриптам). В отличии от нормальных поисковиков эти тащат все страницы залпом и несколько раз в день.

Адресов с которых долбят уже накопилось достаточно много. По несколько раз в день в основном долбежка из зон .PL и .GR. Некоторые из них:

178.19.178.200 - phonedecor.tbtelecom.pl

62.149.9.100 - dimovnick2.cc.colocall.com

83.61.19.182 - 182.Red-83-61-19.staticIP.rima-tde.net

65.94.10.188 - bas3-montreal02-1096682172.dsl.bell.ca

98.188.51.26 - wsip-98-188-51-26.ks.ks.cox.net

67.76.86.179 - fl-67-76-86-179.sta.embarqhsd.net

79.129.185.48 - athedsl-4442432.home.otenet.gr

79.129.54.232 - oyu98x.static.otenet.gr

Кто знает что это за ерунда?

сегодня просто стал файерволлом закрывать доступ с особенно доставших IP.

Джо Саратини
На сайте с 30.10.2009
Offline
196
#1

Вероятно, парсеры какие-нибудь.

[Гори в аду, Карл ! (http://neprimirim.net/idi-naxuj-karl.php)] [Последняя резиденция королей (http://proza.ru/2017/02/16/2175)] [Продолжение рассказа В.Цоя "Романс" (http://neprimirim.net/romans-viktora-tsoya-prodolzhenie.php)]
Нямкин
На сайте с 02.12.2010
Offline
65
#2

Спамеры скорее всего (пополнение базы e-mail, формы сабмита). Либо ГС-строители контет тянут. Да мало ли. Айпихи ни о чем не говорят - могут быть паблик-прокси. Какие юзер-агенты отдают?

SI
На сайте с 25.04.2011
Offline
0
#3

Странное поведение даже для парсера.

Из 5 сайтов на этом IP долбятся 4.

Тематика у всех разная.

Очень смущает подобное действие по несколько раз за сутки с одних и тех же адресов в течение уже больше чем месяца.

SergeIV2010 добавил 25.04.2011 в 17:24

Нямкин:
Спамеры скорее всего (пополнение базы e-mail, формы сабмита). Либо ГС-строители контет тянут. Да мало ли. Айпихи ни о чем не говорят - могут быть паблик-прокси. Какие юзер-агенты отдают?

Так стащили бы один раз и угомонились...

Емылы закрыты через жабаскрипт. Формы регистрации запрещены в роботс.тхт, и их эти демоны не трогают (тож странно), хотя на всех страницах есть ссылки на регистрацию.

Юзерагентов в своих логах не наблюдаю, а всякие счетчики установленные на страницах в упор не видят эту деятельность.

KB
На сайте с 26.12.2010
Offline
21
#4
SergeIV2010:
Некоторое время назад обнаружил в логах нескольких моих сайтов, расположенных на одном IP странную жизнедеятельность. С некоторой регулярностью заходят явно не люди и просто сканируют сайт. Тащатся только страницы (без сопутствующих css, картинок, обращений к скриптам). В отличии от нормальных поисковиков эти тащат все страницы залпом и несколько раз в день.
Адресов с которых долбят уже накопилось достаточно много. По несколько раз в день в основном долбежка из зон .PL и .GR. Некоторые из них:

178.19.178.200 - phonedecor.tbtelecom.pl
62.149.9.100 - dimovnick2.cc.colocall.com
83.61.19.182 - 182.Red-83-61-19.staticIP.rima-tde.net
65.94.10.188 - bas3-montreal02-1096682172.dsl.bell.ca
98.188.51.26 - wsip-98-188-51-26.ks.ks.cox.net
67.76.86.179 - fl-67-76-86-179.sta.embarqhsd.net
79.129.185.48 - athedsl-4442432.home.otenet.gr
79.129.54.232 - oyu98x.static.otenet.gr

Кто знает что это за ерунда?
сегодня просто стал файерволлом закрывать доступ с особенно доставших IP.

Это к Вам приходят граберы контента. Я сам таким пользуюсь(самописные скрипты, которые по крону запускаются и посещают определенные сайты)

Все будет хорошо!
SI
На сайте с 25.04.2011
Offline
0
#5
kf_Buster:
Это к Вам приходят граберы контента. Я сам таким пользуюсь(самописные скрипты, которые по крону запускаются и посещают определенные сайты)

ну ограбил и ушел я понимаю... но зачем по 10 раз на дню в течение месяца с пяти постоянных адресов и еще пары десятков меняющихся?

PRchief
На сайте с 12.06.2009
Offline
92
#6
kf_Buster:
Это к Вам приходят граберы контента.

Именно. или парсеры - разницы особой нет.

SergeIV2010:
ну ограбил и ушел я понимаю... но зачем по 10 раз на дню в течение месяца с пяти постоянных адресов и еще пары десятков меняющихся?

Грабят в динамике. Регулярно - в настройке стоят. Грабят новый контент. А, нсли его нет - всеравно заходят. Им так приказано

MediaDick
На сайте с 24.03.2011
Offline
61
#7
SergeIV2010:
ну ограбил и ушел я понимаю... но зачем по 10 раз на дню в течение месяца с пяти постоянных адресов и еще пары десятков меняющихся?

Грабберы уникального контента, который ещё не проиндексирован. Вылавливают с сайтов непроиндексированный контент и за счёт трамплинов загоняют его в индекс быстрее вас.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий