Google сам подставляет ошибочный Robots.txt

богоносец
На сайте с 30.01.2007
Offline
768
#71
DemonF2005 #:
произведена автоматическая блокировка IP-адресов Google из-за чрезмерного количества одновременных запросов

Дотяни лапшу до горизонта: А как же это они по 'заблокированному ip' скормили robots.txt, запрещающий индексацию? А почему не скормили  Crawl-delay: 13 ?

Vladimir
На сайте с 07.06.2004
Offline
591
#72
softerra #:

На самом деле хостеры глобально очень часто пытаются впарить про нагрузку и вывести клиента на новый тариф.

Так в чем вопрос, переносишь на VPS на минимальный тариф и никто тебе ничего не будет впаривать.
Единственный нюанс с приходом ботов ПС, сервер будет падать

Какие проблемы эту нагрузку ( ПС ) свести к нулю??
Не блокируя и не уменьшая скорость для ПС. Всего лишь настроив заголовки ответа сервера.
А, ну да вы о них не слышали или они не работают🤣

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий