Пошто корифея с маленькой буквы помянул?
Где он вообще?
Значит фобия.301 осталась.
А вы задали не совсем правильный вопрос. Им надо не только это, см ихние хелпы.
Посмотрите на это глазами писателя бота, которому надо экономить HTTP-траф.
В ваших интересах помочь боту скачивать только то, что реально изменилось/появилось... поскольку количество его обращений к сайту ограничено.
И как вернулся?
https://www.google.ru/search?q=site:searchengines.guru+%D1%81%D0%BF%D0%B8%D1%81%D0%BA%D0%B8+%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D1%8B%D1%85+%D0%B7%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D0%BE%D0%B2+%D1%82%D0%B5%D0%B3%D0%B8+%D1%81%D1%81%D1%8B%D0%BB%D0%BA%D0%B8+%D0%BF%D0%BB%D0%B0%D1%82%D0%BE%D0%BD+%D1%89%D1%83%D0%BA%D0%B8%D0%BD&filter=0
В случае с SEO это господство скорее оказывается в мирах посмертия (возмездия и воздаяния).
Один Ашманов, следуя импортной моде, занимается перспективным окормлением паствы.
С двумя Host:
Хотя Яндексу она не нужна
http://yandex.ru/robots.txt 200 OK
https://yandex.ru/robots.txt 200 OK
http://www.yandex.ru/robots.txt 200 OK
https://www.yandex.ru/robots.txt 200 OK
И по всем протоколам.субдоменам Яндексу надо правильную Host:
А с /index.php табличка зеркал трёхмерной получится... и это не предел.
https://www.google.ru/robots.txt 200 OK
http://www.google.ru/robots.txt 200 OK
http://google.ru/robots.txt 301 Location: https://www.google.ru/robots.txt
https://google.ru/robots.txt 301 Location: https://www.google.ru/robots.txt
Не чтут бота щукина!
http://www.google.ru//robots.txt 200 OK
http://www.google.ru//robots.txt?идиоты 200 OK
Почему с разным Host?
И где ваше исключение для robots.txt?
В стартовом посте задача сформулирована частично. Как будто вы не прочитали всех рекомендаций бота щукина о тормозном яндексе...
В итоге важны ответы сервера ... на ограниченное количество обращений, которыми бот всё же страдает.
Вы про биткоин лет 9 назад слышали?
А вместе с доткомами чего ещё ползало по рынку/мозгам?
Они победили SEO, и мэт катс уже давно в министерстве нападения (где нет бесплатных обедов).
И куда же это вы движетесь, если они от вас отстали:
Может это обусловлено уровнем наполнением сознания ЦА?.. типа ничего иного и сказать-то некому, Ашманов подтвердит.
