Ну вот, на основании личного мнения, и нагенерите боту сайт, в котором:
- нет возможности возникновения дублей... на любом серваке,
- нет индексации сквозных/повторяющихся элементов типа большой-подробной-развернутой навигации,
- боту доступен только основной контент страницы + некоторые сцылки перелинковки,
- есть легкая возможность указывать индексируемую и неиндексируемую части страниц (копипаст),
- бот не тратит 'краулинговый бюджет' на обход всех страниц, запрашивая только изменившиеся,
- ...
Ну в общем, сайтострой так и не успел слиться в экстазе с seo, пока рекламный пузырь на рынке этому способствовал, и удобных seo-маньякам cms так и не было сделано - когда это ещё имело смысл.
А если ты сдохнешь, то и жить тебе не надо.
Сайтострой сдох вслед за seo, следующие домейнеры. Так что не до cms
А я сам не генерю, это софт делает.
Ну ... сказка про белого бычка от программеров.
А то, что надо индексировать - генерится в статику.html
и не важно - на сервере или 1 раз софтиной на ноуте.
Рекламу/оформление/счетчики индексить обычно не надо.
Так что это был лозунг типа "дивная верстка лучше табличной, т.к. боту быстрее"...
Даже больше, чем:
- слой звукоизола
+ 2 толщины профиля
+ длина виброподвесов
Проблема не в базовых знаниях и не в способах редактирования, а в навязанной создателями CMS якобы-обязательности серверных скриптов. Много чего можно и на клиенте.
АНБ проплатило статейку:
британские кибербезопасники не обнаружили признаков прослушки
В сайтмап.xml можно указать изменившиеся страницы, когда 99% страниц сайта уже не меняется / к ним обращения ботов стали редкими. ---------- Добавлено 06.09.2019 в 14:16 ----------
Если создателю поставить задачу типа:
"должна быть возможность изменения в одном файле диза / навигации / повторяющихся элементов / счетчиков / #тегов / рекламы / любой хрени, относящейся ко всем страницам"
то эту задачу выполнят. Средства не важны
пример-XML http://h1-h1-h1-h1-h1.narod.ru/Ilyich-broken-ass.xml
всё оформление и любая хрень.js подключается в неиндексируемом файле index-ml.xsl
ползатель видит больше, чем бот,
LI считает https://www.liveinternet.ru/stat/h1-h1-h1-h1-h1.narod.ru/
А вы рекламу/навигацию/диз/счетчики в HTML вставляете?
В HTML остается только то, что надо боту показать. А что ползателю - можно и другими средствами... не трогая Last- Modified не-изменившихся страниц.
И генератор страниц / правки сайтмапа / диза / рекламы - может быть у вас на ноуте, и сам всю эту тупую статику закидывать по ftp на сервак,
и даже у меня это когда-то получилось написать, хотя не программер.
Только все js слить в один. И код счетчика туда же.
Уже давно есть генераторы нужного количества html-страниц + сайтмап + роботс + хтаццес + js... в крайнем случае и написать не долго.
