Форум Сайтостроение Администрирование серверов

Странно - ошибка 500 robot.txt для GoogleBot

12
M
На сайте с 02.01.2013
Offline
38
musitann
2556

Обнаружил в логах что-то странное. Гуглоботу рубится 500-я ошибка(этож статический файл) Яндексу 200 или 301(этот то может быть) - от чего всё это? в google.com/webmasters/tools этих ошибок нет ни одной..

208.115.113.89 - - [09/Jun/2013:07:18:49 +0400] "GET /robots.txt HTTP/1.1" 200 354 "-" "Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com)"
66.249.78.222 - - [09/Jun/2013:07:19:16 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:07:26:55 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:07:27:14 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:07:32:14 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:07:34:39 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:07:36:55 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:07:43:45 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:07:46:11 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:07:46:54 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:07:52:51 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:08:01:40 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:08:05:00 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:08:16:58 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:08:18:58 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.222 - - [09/Jun/2013:08:19:37 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
178.154.202.251 - - [09/Jun/2013:08:32:53 +0400] "GET /robots.txt HTTP/1.1" 301 308 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
178.154.202.251 - - [09/Jun/2013:08:32:53 +0400] "GET /robots.txt HTTP/1.1" 200 337 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
66.249.78.222 - - [09/Jun/2013:08:34:15 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Mik Foxi
На сайте с 02.03.2011
Offline
1076
Mik Foxi
#1

Нгинкс стоит? Изза него от нагрузки создаваемой гуглом все падает.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
iamsens
На сайте с 26.08.2009
Offline
115
iamsens
#2
foxi:
Нгинкс стоит? Изза него от нагрузки создаваемой гуглом все падает.

наркоман ?

Mik Foxi
На сайте с 02.03.2011
Offline
1076
Mik Foxi
#3
iamsens:
наркоман ?

Нет. А какой еще чудософт может статику отдавать с ошибкой пицот?) Специалистов по гнинксу в рунете нету, 90 % сайтов ставят го мануалам из интернетов написанных школотой. В итоге благодаря нгинксу сервер работает еще хуже и чуть что начинает валить ошибки вместо контента

M
На сайте с 02.01.2013
Offline
38
musitann
#4
foxi:
от нагрузки создаваемой гуглом все падает

Гугл бы об этом и сам сказал, но он молчит как партизан ))

так то ведь сайт не падает - все мониторинги молчат,

это только в стате видно и в основном по robot.txt для GoogleBot

iamsens
На сайте с 26.08.2009
Offline
115
iamsens
#5
foxi:
Нет. А какой еще чудософт может статику отдавать с ошибкой пицот?) Специалистов по гнинксу в рунете нету, 90 % сайтов ставят го мануалам из интернетов написанных школотой. В итоге благодаря нгинксу сервер работает еще хуже и чуть что начинает валить ошибки вместо контента

синьор, вы не компетенты в этом вопросе, не компетенты в каждом слове

Mik Foxi
На сайте с 02.03.2011
Offline
1076
Mik Foxi
#6

iamsens, если вы компетентны, то почему бы не посоветовать чтото? Или ваша задача набор бессмысленных постов?

musitann, так всетаки какое ПО отдает эту статику? Если браузером зайти на роботс и зажать на минуту кнопку F5, будет в логах ошибки или нет

iamsens
На сайте с 26.08.2009
Offline
115
iamsens
#7
iamsens, если вы компетентны, то почему бы не посоветовать чтото? Или ваша задача набор бессмысленных постов?

запостите, конфиг нгинкс и .htaccess(если есть), вероятно причина 500-го кода ответа, там

п.с. постов у меня немного и никогда не набивал, но высказывания вышеупомянутых сеньоров, убивают

M
На сайте с 02.01.2013
Offline
38
musitann
#8

ни в нгинкс ни .htaccess я про ПС ботов не писал ни строчки.

в браузере открывает отлично, яндекс тоже всё норм принимает :(

Andreyka
На сайте с 19.02.2005
Offline
822
Andreyka
#9

.htaccess уровнем выше?

Не стоит плодить сущности без необходимости
L
На сайте с 13.01.2011
Offline
125
Logger
#10

скорее всего txt файлы отдаются апачем - если txt нет в локейшене nginx

нужно добавить txt в локейшен nginx данного сайта - и тогда robots.txt будет отдаваться nginx

Контакты-icq 535609 ()
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий