А что это такое?
Скорость загрузки по HTTP(S) / отрисовки страницы зависит не столько от размера файлов, сколько от их количества. И с 1995 года почти ничего не изменилось.
https://www.google.ru/search?q=%D0%BF%D0%BB%D0%B5%D0%BC%D1%8F%D0%BD%D0%BD%D0%B8%D1%86%D0%B0+%D0%B1%D0%B5%D0%BD+%D0%BB%D0%B0%D0%B4%D0%B5%D0%BD&newwindow=1&prmd=ivns&source=lnms&tbm=isch&sa=X
Пересобирать — по мере изменения менталитета искателей. По мере проникновения в массы некой темы... и текст запросов меняется.
Но под скандальчик можно подстроиться только если... знать о нём заранее.
А чтобы не мучаться, давно уже придуман способ обойти все эти сложности /ru/forum/920678
А у яндексов с местной нечистью определение другое
/ru/forum/comment/9591438
/ru/forum/822367
Вообще национальные особенности учёта ответа сервера на GET /robots.txt
(подлый гугл при этом учитывает переадресацию, а яндекс нет)
проявлены почти глобально
https://www.yandex/robots.txt
https://yandex.ua/robots.txt
https://yandex.fr/robots.txt
https://yandex.com/robots.txt
Подождать пока допилят
(а они ждут — начнут ли массы это использовать).
Повторю давнее:
Ну и чего там у вашего Яндекса получилось с [http|https]://[|www.]google.com/
https://www.yandex.ru/yandsearch?text=url%3Agoogle.com
https://www.yandex.ru/yandsearch?text=url%3Awww.google.com
http://google.com/robots.txt 301 Location: https://www.google.com/robots.txt
https://google.com/robots.txt 301 Location: https://www.google.com/robots.txt
https://www.google.com/robots.txt 200 OK
http://www.google.com/robots.txt 200 OK
А теперь ответьте: Это они хелп Яндекса не читали или им насрать? 302 с .com
Пока температура поднимется, цена тоже...
Не проблема, но часто упускаемый из виду пустячок, который надо бы написать отдельно...
раз уж:
