Написать в поисковить:
Поисковить! Ты зачемь склеивать страницу, нащальника? Верни все назадь!
Регулярками выцепить папки сложнее. Зато надежнее)) Но у меня в целом не было такой задачи никогда.
ну код страницы дольше качать, на пару мс. Но не сильно. Поверь. я с КД давно работаю и плотно
Потому что я уже писал - нормально настроенному сайту он не нужен. все служебное - ноиндекс, дублей быть не должно и так далее. Где не надо посторонних - access denied.
То есть верить всему, что на заборе написано - твой предел?
Ну это можно и по коду сделать. Анализируя названия папок стилей и тп. Их, в 99% не меняют. Даже если вырезают все упоминания, как на серче:
Потому что на нормальном сайте и не должно быть этого роботс тхт
Это костыль для криворуких ВМ. А Sitemap и так добавить можно.
Финтеза планирует биржу ссылок открыть? Сейчас рано еще, лет через 10 точно будет тема бомба
Пиши как есть - проспамить и загадить чужой ресурс. Поставить, блин. Каруд маркетолухи
Никогда. :)
Наверное. потому что это помойка? Все логично
