Hosting.ua или полный <censored> с серверами)

40

XeonN

4 мая 2008, 21:39

2410

Pre:Буков будет много. Приношу сразу извинения за оЧепятки пишу транслитом и текст не проверяю

Intro: Вобщем надоело хостится по разным хостингам VDS/VPS решил взять сервер себе под говносайтики. Выбор остановил на hosting.ua по причине нормально цены и возможности установки ISP Manager (другие панели неперевариваю).

Проблемы начались через сутки после установки сервера я припарковал только что зарегистрированный домен (как раз прописались NS сервера) думал сделать хостинг для сателитов но потом забил и домен висит до сих пор.

Но какое было мое удивление когда я зашел в папку с логами и увидел многомегабайтные логи, access.log и error.log. Судя по логам Яндекс сделал 29к хитов а бот Google 34к хитов. Я сперва подумал что перехватил чей-то посещяемы домен но все проверки оказались безрезультатны.

Забил удалил домен перенес на другой сервер к знакомому в НетДирект (Германия) ничего подобного не появилось.

Отправил тикет в тех поддержку меня ласково послали читать риадми по поисковым системам.

И так переодически повторялось ) Вызвало подозрение это после полного анализа логов оказалось боты ходят тупо по кругу и запрашивают одни и тежи страницы, при этом сильно нагружали систему поставил ngnix оптимизировал настройки сервера вроде все нормально стало но через сутки это повторялось постоянно. Вобщем достало решил завтра поискать проблему.

Сегодня (04,05) проснулся захожу в шел вбиваю #top и вижу 70 одновременных коннектов :eek: и загрузку CPU близкую в 100%

Начал проверять логи опять кинулись в глаза логи по 20-200Мб ) :eek: на сайте только вчера зарегистрированом и на некторох других сайтах.

Открываю логи и вижу

78.109.28.40 - - [04/May/2008:09:33:23 +0300] "GET /robots.txt HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:25 +0300] "GET / HTTP/1.0" 404 288 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:27 +0300] "GET /robots.txt HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:29 +0300] "GET / HTTP/1.0" 404 288 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:32 +0300] "GET /robots.txt HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:34 +0300] "GET / HTTP/1.0" 404 288 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:36 +0300] "GET /robots.txt HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:38 +0300] "GET / HTTP/1.0" 404 288 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:40 +0300] "GET /robots.txt HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:42 +0300] "GET / HTTP/1.0" 404 288 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:45 +0300] "GET /robots.txt HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:47 +0300] "GET / HTTP/1.0" 404 288 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:49 +0300] "GET /robots.txt HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:51 +0300] "GET / HTTP/1.0" 404 288 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:53 +0300] "GET /robots.txt HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:55 +0300] "GET / HTTP/1.0" 404 288 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:33:58 +0300] "GET /robots.txt HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:34:00 +0300] "GET / HTTP/1.0" 404 288 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:34:02 +0300] "GET /robots.txt HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:34:04 +0300] "GET / HTTP/1.0" 404 288 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:34:06 +0300] "GET /robots.txt HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:34:08 +0300] "GET / HTTP/1.0" 404 288 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:09:34:11 +0300] "GET /robots.txt HTTP/1.0" 404 297 "-" "Yandex/1.01.

И так 120 МБ логов) Сразу хочу сказать что 78.109.28.40 Это основной IP сервера ) тоесть Яндекс бот находится прямо на моем сервере :laugh:

Отправляю тикет в тех поддержку отписываю опять читать правила поисковых систем, тут нечего не пиняю на них возможно не поняли снова открываю тикет объясняю полностю проблему ответа до сих пор непоследовало )

Так же случайно в поиске Google набрел на

http://www.google.com.ua/search?q=tex-tovary.ru&hl=ru&start=10&sa=N&filter=0

Обнаружил там несколько своих сайтов которы еще не индексировались или закрыты robots.txt внятных объяснений я этому немогу дать.

З.Ы. Насчет того что почисть систему можете ити лесом система чистая и это появилось на первом запаркованом домене.

XeonN добавил 05.05.2008 в 01:41

Все немного сумбурно но вынуждает так как невозможно нормально работать сервер нагружен на пределе трафик уходит медлено но мегабайты перерастаю в гигабайты.

Хочу выслушать форумчан.

B

23

bashkov

4 мая 2008, 21:52

#1

Прикольно ребятки с дата центра hosting.ua решили срубить капусты на тафике. Сколько у них стоит доп траф за 1 гиг?🙅

Не хорошо со стороны hosting.ua вроде компания серьезная😒

40

XeonN

4 мая 2008, 22:01

#2

Кстати если ходить посмотреть по ссылке

http://www.google.com.ua/search?q=tex-tovary.ru&hl=ru&start=10&sa=N&filter=0

Дергайте на просмотр страницы из кеша ) если вы клиент Hosting.ua думаю найдете там свои сайты ))

---

Только что разговаривал с человеком которы тоже там арендует сервера у него такая тоже проблема :-\ он свой один сайт в списке нашел )

Прямые заходы ботов на Google Updates - апдейты Как испортить куки накрутчикам

156

Mihajlo

4 мая 2008, 22:23

#3

вероятно, у вас стоит nginx, который является прокси для апача, поэтому и айпишник один в логах

поставьте mod_rpaf

у вас же полный рут к серверу? так чего пенять на хостера? :)

S

11

Saloboy

4 мая 2008, 22:29

#4

Так может имеет смысл подать судебный иск? Раз все доказательства на руках. И хостеру будет наука и будущее клиенты будут довольны.

40

XeonN

4 мая 2008, 22:33

#5

Mihajlo:
вероятно, у вас стоит nginx, который является прокси для апача, поэтому и айпишник один в логах
поставьте mod_rpaf

у вас же полный рут к серверу? так чего пенять на хостера? :)

Я бы конечно сам пинял на ngnix но реальный бот и все пользватели определяются нормально )

77.88.24.25 - - [04/May/2008:02:28:31 +0300] "GET /index.html HTTP/1.1" 404 331 "-" "Yandex/1.01.001 (compatible; Win16; I)"

И еще с какой боту Яндекса делать 11302 запроса к robots.txt ?

Saloboy не буйствуйте, во все надо разобратся я еще некого не обвиняю я просто привел констатацию фактов.

А это появилось с певого дня а ngnix я поставил позавчера )

XeonN добавил 05.05.2008 в 02:41

Вот еще выборочно выбрал несколько запросов повторяющихся

78.109.28.40 - - [04/May/2008:04:13:31 +0300] "GET /wordpress/?cat=1 HTTP/1.0" 404 298 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:04:14:53 +0300] "GET /wp-includes/wlwmanifest.xml HTTP/1.0" 404 315 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.109.28.40 - - [04/May/2008:04:47:22 +0300] "GET /wordpress/wp-trackback.php?p=1 HTTP/1.0" 404 314 "-" "Yandex/1.01.001 (compatible; Win16; I)"

И так зацикливается на несколько часов ) Учтем что WP никогда и близко на этом домене не стояло на нем вобще ничего не стояло :)

569

Dreammaker

5 мая 2008, 01:07

#6

Я не до конца понимаю претензию к хостеру. Вы обвиняете их, что они на вас яндексовского и гугловского бота напустили?

XeonN:
Так же случайно в поиске Google набрел на
http://www.google.com.ua/search?q=te...&sa=N&filter=0

С этим тоже не совсем понятно, ну дор какой-то. Какое он отношение имеет в вам?

Выравнивание блока РСЯ по Количество ссылок в покупной Google Updates - апдейты

40

XeonN

5 мая 2008, 02:59

#7

Dreammaker:
Я не до конца понимаю претензию к хостеру. Вы обвиняете их, что они на вас яндексовского и гугловского бота напустили?

С этим тоже не совсем понятно, ну дор какой-то. Какое он отношение имеет в вам?

ммм, я бы на вас посмотрел когда вы паркуете новый домен и на него налетают поисковики и делают 150к хитов ) на пустой домен )

А про дор ) меня интересуюет почему у дора мо IP 😡

536

rustelekom

5 мая 2008, 03:10

#8

если ип юзается недавно относительно то вполне может быть что до вас на нем кто то сидел с изрядной посещаемостью и поскольку кеши еще где то болтаются то и валят к вам с запросами на вордпресс которого там давно нет. вы еще скажите спасибо что не стоял какой нибудь командный центр ботнета - то то было бы удовольствия когда боты стали бы к вам ломиться:)

60% скидка на VPS в США, 20% скидка в Нидерландах и 40% в Финляндии. Хостинг, VPS и серверы в США, Нидерландах, Финляндии, Германии и России. RoboVPS https://www.robovps.biz

501

Solmyr

5 мая 2008, 03:31

#9

XeonN, по-видимому запросы к вашему IP, но не к вашему хосту. Проверьте свой IP всякими реверс DNS лукап тулзами. Возможно к вашему IP прикручена туева хуча доменов.

40

XeonN

5 мая 2008, 03:40

#10

rustelekom:
если ип юзается недавно относительно то вполне может быть что до вас на нем кто то сидел с изрядной посещаемостью и поскольку кеши еще где то болтаются то и валят к вам с запросами на вордпресс которого там давно нет. вы еще скажите спасибо что не стоял какой нибудь командный центр ботнета - то то было бы удовольствия когда боты стали бы к вам ломиться:)

Кстати вполне реальный вариант я про него что-то неподумал 🙄, хотя это не объяснит 11302 запросов к robots.txt ) что бота так заинтересовало ?)))

XeonN добавил 05.05.2008 в 07:44

Solmyr:
XeonN, по-видимому запросы к вашему IP, но не к вашему хосту. Проверьте свой IP всякими реверс DNS лукап тулзами. Возможно к вашему IP прикручена туева хуча доменов.

А можно по подробней ?

Что делать, чтобы попасть в ответы Google Bard

Курс биткоина превысил $50 тысяч