Форум Сайтостроение Веб-строительство

Googlebot can't access your site

Коля
На сайте с 04.03.2007
Offline
200
Коля
543

Добрый день!

Подскажите пожалуйста с таким вопросом. На всех сайтах, которые находятся на одном из наших серверов гугл вебмастер показал "Googlebot can't access your site".

Хостеры говорят, что у них нет никакой принудительной блокировки гуглбота.

Как тогда можно объяснить, то что гугл вебмастер показывает "Googlebot can't access your site".

Подскажите пожалуйста, как решить эту проблему и что является причиной этой проблемы.

Спасибо всем.

R
На сайте с 26.12.2005
Offline
86
rifleman
#1

У вас проблемы с nameserver. Проверьте настройки DNS.

LEOnidUKG
На сайте с 25.11.2006
Offline
1730
LEOnidUKG
#2

Фигасе Ванга! Вы откуда знаете, какие у него проблемы не видя сайт?

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/
Коля
На сайте с 04.03.2007
Offline
200
Коля
#3
rifleman:
У вас проблемы с nameserver. Проверьте настройки DNS.

Подскажите, а что именно нужно проверить.

iren K
На сайте с 28.12.2008
Offline
222
iren K
#4
Putin:
Подскажите, а что именно нужно проверить.

логи посмотрите - куда бот лезет + роботс смотрите,может там косяки для гугла

c уважением Iren
R
На сайте с 26.12.2005
Offline
86
rifleman
#5

Проверьте этим DNS tool на предмет обшибок.

Возможно он выдаст ошибку "NSs have same SOA serial" или, что еще хуже, "no glue".

Если у вас мак, то проверить авторизацию неймсервера следующими командами

host -t NS www.site.com

nslookup -type=NS www.site.com

"Non-authoritative " ответ показывает что IP address был получен из локально (из кэша нэйм сервера) а не из авторизированнго источника. В этом случае для вас сайт будет работатать, а для других ( гугла например) - нет.

Для правильной работы, надо настроить DNS так что бы он получал "authoritative" name server для вашего домена.

Другие возможные причины:

1. В robots.txt стоит запрет. В этом случае его надо снять.


User-agent: *
Allow: /

2. Весь сайт целеком редиректится. Например c http на https.

В этом случае надо исключить robots.txt из этого редиректа

Это можно сделать добавив в .htaccess следующие строчки:


RewriteEngine On
RewriteCond %{HTTPS} off
RewriteCond %{REQUEST_FILENAME} !robots\.txt
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]


---------- Добавлено 11.03.2015 в 10:26 ----------

LEOnidUKG:
Фигасе Ванга! Вы откуда знаете, какие у него проблемы не видя сайт?

Просто предположил, такая ошибка неоднократно встречалась.

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
S
На сайте с 02.05.2014
Offline
61
Sujcnm
#6
rifleman:
"Non-authoritative " ответ показывает что IP address был получен из локально (из кэша нэйм сервера) а не из авторизированнго источника. В этом случае для вас сайт будет работатать, а для других ( гугла например) - нет.

Да ну? А я думал немного иначе:

Авторитативный отклик (authoritative response) возвращают серверы, которые являются ответственными за зону, в которой описана информация, необходимая resolver-у (клиент DNS).

Неавторитативный отклик (non authoritative response) возвращают серверы, которые не отвечают за зону, содержащую необходимую resolver информацию.

Вот интересная статья, думаю она расширит Ваши познания в данном вопросе.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий