С двумя Host:
Хотя Яндексу она не нужна
http://yandex.ru/robots.txt 200 OK
https://yandex.ru/robots.txt 200 OK
http://www.yandex.ru/robots.txt 200 OK
https://www.yandex.ru/robots.txt 200 OK
И по всем протоколам.субдоменам Яндексу надо правильную Host:
А с /index.php табличка зеркал трёхмерной получится... и это не предел.
https://www.google.ru/robots.txt 200 OK
http://www.google.ru/robots.txt 200 OK
http://google.ru/robots.txt 301 Location: https://www.google.ru/robots.txt
https://google.ru/robots.txt 301 Location: https://www.google.ru/robots.txt
Не чтут бота щукина!
http://www.google.ru//robots.txt 200 OK
http://www.google.ru//robots.txt?идиоты 200 OK
Почему с разным Host?
И где ваше исключение для robots.txt?
В стартовом посте задача сформулирована частично. Как будто вы не прочитали всех рекомендаций бота щукина о тормозном яндексе...
В итоге важны ответы сервера ... на ограниченное количество обращений, которыми бот всё же страдает.
Вы про биткоин лет 9 назад слышали?
А вместе с доткомами чего ещё ползало по рынку/мозгам?
Они победили SEO, и мэт катс уже давно в министерстве нападения (где нет бесплатных обедов).
И куда же это вы движетесь, если они от вас отстали:
Может это обусловлено уровнем наполнением сознания ЦА?.. типа ничего иного и сказать-то некому, Ашманов подтвердит.
А теперь каждое слово определяем отдельно.
Как взвешивать?
Возраст чего?
Ссылки — они на что?.. может всё же на конкретные страницы? А у вас есть те сайты, что были на тех доменах? (ну а куда ведут сцылки, если нету сайта*. И как это лечить)
Ну и точное определение истории ... для бота. Ну например если было 100500 сцылок, а стало 15 — это как?
Обычные люди читают те мануалы, которые у них легче укладываюся в голове. А потом ещё это пересказывают... или делают вид, что это нечто общепринятое-всемизвестное.
/ru/forum/822367
____________
* Предположим вы купили https://www.whitehouse.gov/ и http://kremlin.ru/
Бывшие владельцы не дали вам использовать сайты (по политическим мотивам).
Сцылочная масса большая, но на что ведёт большая их часть? Или вам кажется полезной сцылка http://kremlin.ru/?говнодав? HTTP/1.1 200 OK
Надежда умирает последней.
Не должно.
Дать его нельзя. Предполагается, что это ваше свойство.
Лучше бы назвали поисковик, в котором вам это всё надо.
Может вам сцылок на хелп оставят, всё равно прочитать придётся.
И определение веса напишите.
Щас об этом выскажется какой-нибудь безопасник.
Ну и, как тут всем сразу стало понятно, вы по идейным соображениям не решаетесь написать статью для ЦА/запросов... а скоро начнете и хиджаб носить.
В контракте с этим сотрудником посмотрите — {продал|сдал в {аренду|{|бессрочное }пользование}} он {душу|имя}?
