Вам нужно работать по цивильнее - Doorways & Cloaking - Практические вопросы оптимизации

http://tele-house.ru/crawler.htm

s91 · 2009-07-21T16:53:11.0000000Z

Что это за поисковик? "Mozilla/5.0 (compatible; Dolphin/1.0; +http://tele-house.ru/crawler.html)" Я был в шоке когда увидел нагрузку на процессор в 47% на своем сервере и значительное увеличение накрузки на интернет-канал: Что за зверь? Какой поисковой системы?

68

firacet

23 июля 2009, 11:16

#21

Сегодня тоже пришлось его отправить в отпуск )) Открыл около 1500 соединений к моим сайтам и доил их как бешеный )))

Ув. Разработчики кравлера! Не меняйте ИП!

Сбылись мечты народный: Мир-Труд-Май

202

Alexey D.K.

9 августа 2009, 11:34

#22

0x44:
Сегодня же IP 94.127.144.38 отправился в бан - нагрузка вернулась в нормальное состояние :)

Как вы это сделали? Я забанил в .htaccess ни чего не помогло. 🔥

Alexey D.K. добавил 09.08.2009 в 15:45

firacet:
Сегодня тоже пришлось его отправить в отпуск ))

Напишите Ваш способ, пожалуйста!?

firacet:
Ув. Разработчики кравлера! Не меняйте ИП!

🙅 скоро дань им придется платить...

Alexey D.K. добавил 09.08.2009 в 15:48

xpro2004:
Будут проблемы - пишите в эту ветку. Лучше с кусками логов, будем разбираться.

А доступ к админ понели вам не предоставить?! Не лучше ли как-то по цивильнее спам базы собирать... Я понимаю, что вам нужно работать... Но, и у меня есть чем заняться, кроме того, чтобы от ВАС защиту ставить! 😎

✔ Ну так это... Алексей Д.К.

KL

69

K!ller

12 августа 2009, 19:50

#23

Сегодня завалил сего монстра у себя на сервере... надеюсь на долго

CX

45

CharlyX

4 сентября 2009, 11:03

#24

Блин да он зае*ал... Нагрузку с 0 до 100 поднял. В БАНЮ!

Скачать софт (http://softaznet.ru/) Хроники украинского покращеня (http://hronpokr.org/)

FW

97

FireWind

5 сентября 2009, 02:22

#25

Этот робот совершенно сумасшедший - уже довольно давно ходит и содает паразитную нагрузку.

Более того, в середине адреса начинает вставлять случайные символы, генерируя десятки запросов к одной и той же странице.

Более того, он похоже не знает, что такое <base href=""> и начинает к каждой следующей странице дописывать бесконечно эту же страницу.

Запросы генерит может и по одному в секунду, но при количестве домено 100 - создает очень серьезную нагрузку.

Короче сумасшедший глюкавый DOS подобный паразит-монстр, которому одна дорога - в бан.

Изготавливаю сайты на 1С-Битрикс. Сертифицированный партнер Битрикса

R

159

RRR Ivanov

10 сентября 2009, 06:40

#26

174.129.204.65 - - [10/Sep/2009:10:35:13 +0400] "GET http://yahoo:XXXXXXXX@yahoo-z0ne.com/forum/index.php HTTP/1.1" 404 12112 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

На некоторых дорах появился такой бот,кушает главную каждые 20-30сек.У кого-нибудь такое наблюдается ?

N4

89

number4

10 сентября 2009, 16:00

#27

вундервафля убанена. спасибо за топик

Интернет-магазин: SP.Easy.Shop 1.4

[Удален]

10 сентября 2009, 16:24

#28

lord_alfred:
Ога, ждите

Да книг по текстам доров полно:)

101

unemployed

13 сентября 2009, 17:58

#29

и меня товарищ не миновал, однозначно в бан

88

s91

30 сентября 2009, 16:14

#30

Сегодня в логах обнаружил забавную штуку:

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.php3

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.php4

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.jp

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.js

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.jsp

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.cgi

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.ppl

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.plx

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.pl

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.perl

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.wml

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.xhtml

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.shtml

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.html

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.htm

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.html.var

[Wed Sep 30 10:26:40 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.php3

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.php4

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.jp

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.js

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.jsp

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.cgi

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.ppl

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.plx

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.pl

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.perl

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.wml

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.xhtml

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.shtml

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.html

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.htm

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.html.var

[Wed Sep 30 10:26:37 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.php3

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.php4

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.jp

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.js

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.jsp

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.cgi

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.ppl

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.plx

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.pl

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.perl

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.wml

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.xhtml

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.shtml

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.html

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.htm

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/index.html.var

[Wed Sep 30 10:26:34 2009] [error] [client 94.127.144.38] client denied by server configuration: ****************/public_html/robots.txt

Наверное их робот не понимает что такое бан........ и пытается ну хоть что-нибудь утянуть с сервака.

Не бывает белой и черной оптимизации. Бывает только обман и разные способы его реализации

Резкий всплеск прямых заходов. Научите бороться с DDoS-атаками 45% россиян используют социальные

Вышел новый Яндекс Браузер с YandexGPT и YandexART

Маркетинг для шоколадной фабрики. На 34% выше средний чек

http://tele-house.ru/crawler.htm