Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Чем запросы Яндекса отличаются от запросов браузера?

A
На сайте с 03.02.2006
Offline
0
Allock
1041

Добрый день, уважаемые!

Продолжаю рыть свалившуюся на мою голову тему: сайт не проиндексировали поисковики.

Разборки привели на такую страницу:

http://seolab.ru/add/header.htm

Так вот. Если в качестве User-Agent: выбрать MSIE, то все нормально:

HTTP/1.1 200 OK

Date: Mon, 06 Feb 2006 16:44:01 GMT

Server: Indy/9.00.11

Content-Type: text/html

Pragma: no-cache

Connection: close

Для всех остальных агентов-поисковиков (Yandex and Co.) ответ такой:

HTTP/1.1 500 Server error

Date: Mon, 06 Feb 2006 16:37:35 GMT

Server: Indy/9.00.11

Content-Type: text/html

Pragma: no-cache

Connection: close

ERROR 500: Server error.

Вот и возникает вопрос: а чем запросы робота поисковиков отличаются от запросов браузера?

Буду искренне признателен за высказанные мнения.

ЗЫ:

Пробовал telnet.exe пользовать для отправки запросов серверам, кое-что получается, но вслепую долбить очень неудобно.

Может кто подскажет "визуальный" Телнет?

Shema
На сайте с 01.12.2005
Offline
176
Shema
#1
Allock:

HTTP/1.1 500 Server error

Что в логах web-сервера?

(Там должны быть запрошенные URL и описания ошибок)

Студия Design Coda (http://www.designcoda.ru/). Личные контакты: +7(903)1367564, skype:andrey.oshemkov, telegram:@oshemkov. WMID: 492025973671 (https://passport.webmoney.ru/asp/certview4.asp?wmid=492025973671), делаем и рекламируем сайты, мобильные приложения, ботов для Telegram.
A
На сайте с 03.02.2006
Offline
0
Allock
#2

Касательно запросов, посылаемых с http://seolab.ru/add/header.htm, то в access.log

для MSIE "HEAD / HTTP/1.0" 200 -

для Yandex "HEAD / HTTP/1.0" 500 -

В error.log ничего не зафиксировано, кроме

"File does not exists: /...../robots.txt".

Если лезет "настоящий" Яндекс, то в access.log

"GET / HTTP/1.1" 500 602.

НО!

Важный момент: Апач используется как внешний main-вебсервер, на котором крутятся сайты, но который при этом является шлюзом для внутренних веб-серверов написанных самостоятельно на Indy.

Т.е. клиент обращается по 80 порту к определенному домену, а дальше Апач может перенапрялять запросы совсем в другие сегменты сети, на другие машины и другое ПО.

Так вот "мои" веб-серверы и отдают Апачу ошибку 500 в ответ на запросы поисковиков.

Отдебагить пока не могу (надо среду разаработки ставить на сервер).

Потому пытаюсь понять, чем ЗАПРОСЫ ПОИСКОВИКОВ ОТЛИЧАЮТСЯ от ЗАПРОСОВ БРАУЗЕРА.

Насколько критично отсутствие файла robots.txt?

Насколько критично отсутствие файла robots.txt?

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Dwarf
На сайте с 06.10.2004
Offline
60
Dwarf
#3

Вот вам хедеры Yandex-I


Accept: text/html, application/pdf;q=0.1, application/rtf;q=0.1, text/rtf;q=0.1, application/msword;q=0.1, application/x-shockwave-flash;q=0.1, application/vnd.ms-excel;q=0.1, application/vnd.ms-powerpoint;q=0.1
Accept-Language: ru, uk, be, en, *;q=0.01
Connection: Keep-Alive
Host: ваш_хост.ru
User-Agent: Yandex/1.01.001 (compatible; Win16; I)
From: webadmin@yandex.ru

Смотреть надо error.log, а не access.log.

robots.txt к ошибке 500 никакго отношения не имеет.

Деревянные окна (http://www.wood-win.ru/)
Party
На сайте с 03.11.2005
Offline
38
Party
#4
Allock:
Насколько критично отсутствие файла robots.txt?

Нинасколько.

Dwarf:
robots.txt к ошибке 500 никакго отношения не имеет.

И кроме того, его отсутствие не влияет на индексацию.

Нет мира, кроме тех,
к кому я привык,
и с кем не надо нагружать язык...
TimeBomb
На сайте с 19.07.2005
Offline
93
TimeBomb
#5

Мдя, вот это клоакинг!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий