робот-"простукивалка"

123 4
zagul
На сайте с 27.03.2006
Offline
131
2760

Помогите пожалуйста. Сайт исчез из каталога. Написал в Я. Получил такой ответ:

Уважаемый Алексей!

Сайт вновь был автоматически снят с публикации, поскольку от него нашему

роботу-"простукивалке" приходит отклик, отличный от нормального (200). По

всей видимости, причиной являются действия хостинг-провайдера. Вы можете

связаться с ним и попытаться решить этот вопрос.

*******************************************************

Дело в том что сайт нормално работает без перебоев!

Что делать без понятия. Что писать в хостинг?

Ведь сайт работает без проблем!:confused:

Спасибо!

ALL
На сайте с 07.02.2006
Offline
12
ALL
#1

Можно попробовать положить "robots.txt", если его у вас нет.

SEO это такое дело... (http://www.umaxforum.com/topic/4/17414/) :-)
zagul
На сайте с 27.03.2006
Offline
131
#2
ALL:
Можно попробовать положить "robots.txt", если его у вас нет.

Нету! а что надо там написать для гаденыша - простукивалки?

"я чайник"

Party
На сайте с 03.11.2005
Offline
38
#3

zagul, для этого есть две полезные ссылки:

http://webmaster.yandex.ru/faq.xml

Нет мира, кроме тех,
к кому я привык,
и с кем не надо нагружать язык...
ALL
На сайте с 07.02.2006
Offline
12
ALL
#4

Как-то я писал такое:


Сайт в *.com не индексировался, даже через addurl не добавлялся. Например Я не мог определить русский текст, Апорт сообщал о недоступности домена... Выход нашел случайно. Закинул robots.txt ничего не запрещающий.

User-agent: *
Disallow:
Host:

Опять попробовал через addurl, поисковики ругаться перестали, ну потом и проиндексировали.
Хотя, слышал, что robots.txt не обязателен.

Может и тебе поможет "robots.txt".

Со своей стороны считаю, что "robots.txt" ОБЯЗАТЕЛЕН, пусть он и ничего и не запрещает.

zagul
На сайте с 27.03.2006
Offline
131
#5
ALL:
Как-то я писал такое:


Может и тебе поможет "robots.txt".

Со своей стороны считаю, что "robots.txt" ОБЯЗАТЕЛЕН, пусть он и ничего и не запрещает.

Спасибо! Так и сделал. Незнаю может поможет..

Писал в Я еше раз получил такой ответ:

Уважаемый Алексей!

Мы отправляем серверу следующий код:

telnet www.домен.com 80

HEAD / HTTP/1.0

Host: www.домен.com

Accept-Charset: windows-1251

User-Agent: Yandex/2.01.000 (compatible; Win16; Dyatel; C)

В течение 15 секунд мы ждём на него отклик 200 (OK). К сожалению, в

случае

Вашего сайта отклик отличается от 200. Просим Вас связаться с

хостинг-провайдером для уточнения ситуации.

*********************************************************

А как узнать какой они отклик получают?

zagul
На сайте с 27.03.2006
Offline
131
#6
Party:
zagul, для этого есть две полезные ссылки:
http://webmaster.yandex.ru/faq.xml

Там очень много связянного с идексацией, странно при добавлении сайта не в каталог никаких ошибок нет, а при обходе "простукивалки" есть.

ALL
На сайте с 07.02.2006
Offline
12
ALL
#7

В логах посмотреть, что выдал сервер такому гостю:

User-Agent: Yandex/2.01.000 (compatible; Win16; Dyatel; C)

и посмотреть, что этот гость запрашивал.

возможно эта инфа будет полезна.

Revan
На сайте с 09.09.2005
Offline
321
#8

Попробуйте зайье с юзер-агентом дятлом и посмотреть, что за общение между ними происходит..

С уважением, Прокофьев Александр, founder KudaGo.com (http://kudago.com). Отдаем информацию обо всех мероприятиях в РФ + Киев по API (/ru/forum/912869) всем желающим.
zagul
На сайте с 27.03.2006
Offline
131
#9
Revan:
Попробуйте зайье с юзер-агентом дятлом и посмотреть, что за общение между ними происходит..

Я извеняюсь я чайник. Где можно взять на прокат этого дятла?

V
На сайте с 19.02.2004
Offline
87
Vin
#10

Вообщем так выбросте все советы, что выше.

Найдите прогу, которая может показать Вам HTTP заголовки.

Самая стандартная telnet.

Но есть еще много всяких, которыми любят пользоватся программисты.

У меня например стоит плагин к IE называется он HttpWatch.

Когда сервер отдает любой документ юзерагенту, будь-то бот или бразузер с человеком, сервер сначала отдает HTTP заголовки, а потом уже html.

Что бы все было нормально, надо что бы эти заголовки начинались так: HTTP/1.1 200 OK

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий