Google сам подставляет ошибочный Robots.txt

Appassionato
На сайте с 22.06.2010
Offline
319
#21
Search Google #:

Где вы это увидели?

Внимательно посмотрите скрин в первом сообщении.

Хостинг Работает, как Часы ( http://tinyurl.com/nze85xw ). Проверено за 11+ лет.
softerra
На сайте с 02.10.2023
Offline
100
#22
Может это поможет.

N2
На сайте с 25.04.2024
Offline
29
#23
Интересно. 
У меня по ссылке открывается «хороший» роботс, всякие чекеры и парсеры показывают «хороший» роботс. Но если вставить ссылку на файл в гугл переводчик, он покажет перевод «плохого» роботс. 
Посмотрел сайты на том же айпи, я конечно видел много сайтов на одном айпи, но столько...
Так вот, ради интереса проверил роботс одного из сайтов, та же история, в браузере нормальный роботс, через сервер Гугла с полным запретом. 
Подумал, где-то триггер на юзер агент Гугла прописан, но транслейтер, оказывается, подставляет юзер агента из браузера и айпи разные при каждом запросе. 
В любом случае, получается, причина на стороне Гугла или к нему привязана.
N2
На сайте с 25.04.2024
Offline
29
#24
Nil2024 #:
Интересно. 
У меня по ссылке открывается «хороший» роботс, всякие чекеры и парсеры показывают «хороший» роботс. Но если вставить ссылку на файл в гугл переводчик, он покажет перевод «плохого» роботс. 
Посмотрел сайты на том же айпи, я конечно видел много сайтов на одном айпи, но столько...
Так вот, ради интереса проверил роботс одного из сайтов, та же история, в браузере нормальный роботс, через сервер Гугла с полным запретом. 
Подумал, где-то триггер на юзер агент Гугла прописан, но транслейтер, оказывается, подставляет юзер агента из браузера и айпи разные при каждом запросе. 
В любом случае, получается, причина на стороне Гугла или к нему привязана.

А... Проверил, переводчик  он и мой роботс при проксировании показывает с тотальным запретом сканирования. Логично. Зашёл не в ту дверь, крч.(

DF
На сайте с 18.07.2013
Offline
81
#25
Vladimir SEO #:

а перескан делали ? там  три точки и запрос на перескан

реально вижу запрет


интересная тема - надо искать решение

Перескан нажимал дня 2-3 назад

K
На сайте с 03.10.2016
Offline
106
#26
https://www.forbes.ru/tekhnologii/511590-roskomnadzor-prizval-ogranicit-dostup-k-rossijskim-sajtam-dla-botov-google-i-openai

Может твой хостер выполнил эту рекомендацию и проблема в этом?
DF
На сайте с 18.07.2013
Offline
81
#27
Задам им этот вопрос, спасибо за ссылку
N
На сайте с 23.05.2024
Offline
0
#28
Абсолютно точно такая же проблема, у Гугла начали сыпаться ошибки с запретом индексации страницы.
По Google Translate выдает "User-agent: * Disallow: /".
N
На сайте с 23.05.2024
Offline
0
#29
Кое что проверил, можете не пытаться связываться с кем либо, Гуглу напрямую выдает robots.txt на абсолютно всех ru доменах с запретом.
Vladimir
На сайте с 07.06.2004
Offline
591
#30
Nidelon #:
Кое что проверил, можете не пытаться связываться с кем либо, Гуглу напрямую выдает robots.txt на абсолютно всех ru доменах с запретом.
Хостингу пишите, либо меняйте
Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий