Форум Сайтостроение Администрирование серверов

Странно - ошибка 500 robot.txt для GoogleBot

12
A
На сайте с 18.05.2008
Offline
207
addurl
#11

можно воркеров добавить

гникс любит отдавать 500, если их не хватает

правда если это какой нибудь слабенький впс, то может и не пройдет такой "фикс"

LineHost.Org - Хостинг и VPS в Москве | VPS в США (http://linehost.org/) WebNicks.Com - Дешевая Регистрация Доменов Онлайн (http://webnicks.com/)
M
На сайте с 02.01.2013
Offline
38
musitann
#12

66.249.78.222 - - [09/Jun/2013:12:10:46 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.149 - - [09/Jun/2013:12:10:47 +0400] "GET /421217 HTTP/1.1" 200 4343 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.149 - - [09/Jun/2013:12:10:51 +0400] "GET /283511 HTTP/1.1" 200 4349 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

по агенту точно нет ограничения, доступ 100% есть - открывается как в браузере так и через google.com/webmasters/tools

может IP забанен?? как проверить?

---------- Добавлено 09.06.2013 в 16:25 ----------

addurl:
правда если это какой нибудь слабенький впс

это было бы видно в целом по мониторингу - но там всё ок..

---------- Добавлено 09.06.2013 в 16:27 ----------

Andreyka:
.htaccess уровнем выше?

не обнаружил вообще :(

iHead
На сайте с 25.04.2008
Offline
137
iHead
#13

смотрите error_log

Рекомендуемый хостинг партнер 1С-Битрикс (https://www.ihead.ru/bitrix/), PHP-хостинг (https://www.ihead.ru/php/), доверенный партнер RU-CENTER (https://www.ihead.ru/news/573.html), официальный представитель REG.RU в Кирове (https://www.ihead.ru/news/851.html)
M
На сайте с 02.01.2013
Offline
38
musitann
#14

iHead, про robots.txt ни слова

Mik Foxi
На сайте с 02.03.2011
Offline
1076
Mik Foxi
#15

musitann, может ip 66.249.78.222 у вас на сервере забанен? другие страницы с этого ипа запрашивались?

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
Andreyka
На сайте с 19.02.2005
Offline
822
Andreyka
#16

Ищите внимательней и поглядите логи

Не стоит плодить сущности без необходимости
M
На сайте с 02.01.2013
Offline
38
musitann
#17

foxi, а как проверить забанен ли IP ?

============

проверил так

iptables -L -n -v|grep 66.249.78.222

ничего не нашло

T
На сайте с 09.12.2011
Offline
55
tls
#18

Проверьте _http://ip/robots.txt .

M
На сайте с 02.01.2013
Offline
38
musitann
#19

tls, по IP он не доступен

A
На сайте с 18.05.2008
Offline
207
addurl
#20
musitann:
это было бы видно в целом по мониторингу - но там всё ок.

Вот это далеко не факт.

500 сыпятся обычно при множественных запросах. Такое может быть к примеру при ddos. Следствие того, что гникс не успевает обработать все. Вполне укладывается в сканирование гуглом.

На слабом VPS это вообще себе обыденное явление.

Попробуйте протестировать сайт под нагрузкой. Были какие то онлайн сервисы для таких целей. Через гугл можно найти. По идее должно тоже отвалиться.

Ну подумайте сами, почему мониторинги молчат и только при сканировании гуглом есть 500?

Мониторинги не парсят ваш сайт кучей запросов в секунду же.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий