Google сам подставляет ошибочный Robots.txt

Vladimir
На сайте с 07.06.2004
Offline
537
#41
Nidelon #:

Ау, абсолютно все ru домены.

Естественно, что все ваши домены ru на вашем хостинге
На моем норм, будет не норм, перенесу.

Время публикации страницы


Время индексирования данной страницы

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Vladimir SEO
На сайте с 19.10.2011
Offline
1742
#42
Nidelon #:

Введи в гугл транслейт какой нибудь robots.txt несуществующего .ru сайта, меня это прикалывает, как именно подменяется он)

так это он делает для всех сайтов))) 

А у вас всего третий случай . Так что надо сначала у хостера спросить что это за дела.

Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
PpcAnalytic
На сайте с 28.05.2015
Offline
66
#43
Nidelon #:

Введи в гугл транслейт какой нибудь robots.txt несуществующего .ru сайта, меня это прикалывает, как именно подменяется он)

А зачем в гугл транслейт роботс вводить?) Мало ли что он показывает?) 

N2
На сайте с 25.04.2024
Offline
2
#44
PpcAnalytic #:

А зачем в гугл транслейт роботс вводить?) Мало ли что он показывает?) 

Ну, во первых, это интересно) Представьте, каким скучным был бы этот топик, без этого открытия)

Вообще, я пробовал посмотреть роботс тс через разные прокси, чтобы оценить вероятность того, что мы и гугл можем видеть разные версии файла, потом, результате сделанного открытия, такое завертелось...

По теме, похоже, на момент сканирования 15 мая все таки на хостинге была другая версия роботс, гугл ее и отобразил. Интересно почему там в качестве хоста указан сайт хостер ру. 

Vladimir SEO
На сайте с 19.10.2011
Offline
1742
#45
PpcAnalytic #:

А зачем в гугл транслейт роботс вводить?) Мало ли что он показывает?) 

Один запустил https://searchengines.guru/ru/forum/1098825/page3#comment_17017217 , второй не поняв подхватил. Так и рождаются мифы. Вон один порезку от апдейтов лечит изменением названия карты сайта https://searchengines.guru/ru/forum/1074672/page221#comment_17016689 ))) Еще один пишет что индексирование видео можно вернуть если в урл вставить слово "видео" итд

Массовое падение критического мышления. 

Введите ссылку на файл в Google Translate - Google - Поисковые системы
Введите ссылку на файл в Google Translate - Google - Поисковые системы
  • 2024.02.14
  • searchengines.guru
переводчик он и мой роботс при проксировании показывает с тотальным запретом сканирования. Может твой хостер выполнил эту рекомендацию и проблема в этом. у Гугла начали сыпаться ошибки с запретом индексации страницы
Search Google
На сайте с 14.01.2017
Offline
105
#46
ТС решил проблему?
Походу реально некоторые хостеру РУ начали блочить ботов гугла...
Vladimir SEO
На сайте с 19.10.2011
Offline
1742
#47
Search Google #:
ТС решил проблему?
Походу реально некоторые хостеру РУ начали блочить ботов гугла...

А что хостеры говорят? Никто не пишет по этому вопросу. 

Если начнут блочить, то все перейдут на другие хостинги. А потом гражданам рф запретят использовать Бурж хостинги)))

богоносец
На сайте с 30.01.2007
Offline
756
#48
Vladimir SEO #:
А что хостеры говорят?

"Да это пьяный/недовольный/патриотичный прогер подлянку своему начальству... Не волнуйтесь, больше не повторится!"

Ну кто вам правду скажет 'нас заставили ... пробный шар'?

Vladimir SEO
На сайте с 19.10.2011
Offline
1742
#49
богоносец #:

"Да это пьяный/недовольный/патриотичный прогер подлянку своему начальству... Не волнуйтесь, больше не повторится!"

Ну кто вам правду скажет 'нас заставили ... пробный шар'?

Могут сослаться на указ/приказ. Мол теперь всем так надо. Не ответить не могут. 

complex200
На сайте с 23.05.2019
Offline
37
#50

Хостинг hoster.ru и hts.ru - это теперь  технически ОДНА организация (см. контакты)
Подмена файла robots.txt для поисковых Google ботов идёт во всех проектах. В файлах - Запрет к индексации поставлен для всего доменного имени и указывают директорию индексации свои сайты

User-Agent: Yandex
Disallow: /
Host: www.hts.ru

User-Agent: Googlebot
Disallow: /

User-Agent: *
Disallow: /

Всем коммерческим сайтам с SEО политикой - обратить внимание!

Техподдержка просто поражает - рассказы про "блокировку" ботов Google  для первичной защиты от Ddos-атак 
Но при чём тут подмена файлов robots.txt  с запретом индексации???????

Юридически - закона о блокировке поисковых ботов НЕТ, есть только "рекомендация". Кто-то бежит впереди паровоза? Ну и убежит от своих же клиентов

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий