- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Коллеги, привет!
Техподдержка Adwords/Merchant не смогла ничего ответить по этому поводу :(
С 14-го числа и до сих пор вижу в вебмастере 100% ошибок при доступе к нашему robots.txt (https://salon-provans.ru/robots.txt).
При проверке robots.txt через "Посмотреть как Googlebot", да и любого другого URL с нашего сайта получаю ошибку "Временно недоступно".
Хостинг никакой фильтрации не делает, с сервером и сайтом всё в порядке.
В логах веб сервера вижу в момент проверки успешный запрос от Googlebot:
213.159.210.11 - - [20/Feb/2018:16:44:34 +0300] "GET /robots.txt HTTP/1.1" 200 308 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
Прошу помочь, т.к. из-за этой ошибки отвалилась часть товаров в Google Merchant и, видимо, начнутся проблемы с индексацией сайта.
Заранее спасибо!
P.S. Техподдержка гугла это адовый ад, абсолютно бестолковая хрень.
И браузер, и голый curl страницы получает. Логи, отличные от 20x/30x есть?
Всё-таки, кто-то забанил гуглобота.
И браузер, и голый curl страницы получает. Логи, отличные от 20x/30x есть?
В error-логе гугла нет.
Вот несколько свежих запросов от него в access-логе, вроде всё норм:
213.159.210.11 - - [20/Feb/2018:17:19:50 +0300] "HEAD / HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
213.159.210.11 - - [20/Feb/2018:17:20:01 +0300] "HEAD /postelnoe-belye HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
45.79.65.120 - - [20/Feb/2018:18:09:09 +0300] "HEAD /robots.txt HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
;15489073']Всё-таки, кто-то забанил гуглобота.
Если бы я его забанил, то его бы не было в access логе :)
В сухом остатке:
1) Проверил логи с момента начала проблемы (14-го числа).
Успешные GET и HEAD запросы от Googlebot на /robots.txt, корень, и ещё пару основных разделов сайта.
2) В статистике сканирования запросы и трафик упали в 0
3) В ошибках сканирования 100% ошибок типа "Время ожидания истекло" по /robots.txt
Ничего не понимаю, как может время ожидания истечь, если я вижу успешные запросы в логах.
Если только ответ от веб-сервера застревает где-то дебрях сети по пути в гугл.
---------- Добавлено 20.02.2018 в 19:27 ----------
UPD к сухому остатку:
Пробил IP этих "гугл ботов" - всё это левые боты)
Получается, настоящий гугл бот не может достучаться до сервака.
Хостер утверждает что трафик никак не фильтруется.
agerasimov, Может и не блокирует, но у гугла нету доступа к хостингу или к каналу на котором он расположен.
Попробуйте завернуть домен через https://www.cloudflare.com/ , если проблема решится, то съезжайте от текущего хостинга или оставайтесь на cloudflare.
А может быть, бот пытается пробиться по адресу http://salon-provans.ru/robots.txt всё-таки?
А может быть, бот пытается пробиться по адресу http://salon-provans.ru/robots.txt всё-таки?
Там редирект, да и в логах запросов всё равно нет таких.
---------- Добавлено 20.02.2018 в 23:09 ----------
agerasimov, Может и не блокирует, но у гугла нету доступа к хостингу или к каналу на котором он расположен.
Попробуйте завернуть домен через https://www.cloudflare.com/ , если проблема решится, то съезжайте от текущего хостинга или оставайтесь на cloudflare.
Да, решил так и поступить.
Возьму временно дешёвый ВПС у другого хостера и буду через него проксировать трафик на основной сервер.
Надеюсь, поможет.
P.S. Текущий хостер - Chipcore (бывший Технодом), он же Selectel
По словам саппорта аналогичных проблем у других клиентов нет
Там редирект
В данном контексте поисковикам плевать на редирект.
---------- Добавлено 20.02.2018 в 23:12 ----------
в логах запросов всё равно нет таких.
В данном контексте поисковикам плевать на редирект.
---------- Добавлено 20.02.2018 в 23:12 ----------
Это в вебмастере смотрят, а не в логах.
В смысле в вебмастере смотрят и плевать на редирект?
Если гугл что-то хочет получить от моего сайта то я увижу в логах запрос.
---------- Добавлено 20.02.2018 в 23:26 ----------
Тут кстати на форуме вебмастеров появился товарищ с похожей проблемой, только у него затык, судя по всему, в DNS. Т.е. гугл не может отрезолвить то, что успешно резолвится всеми другими.
Если проксирование не поможет, то попробую делегировать зону в другое место, например на Route53 (сейчас на Mastername).