Это рекомендация ПС предоставлять XML карту в свободном доступе.
На многих проектах закрываю карту для обычных юзеров.
Я такого же мнения, что и ТС. Карта и другие системные разделы (для ПС) должны быть закрыты и быть только для ПС.
Отдельные персональные мнения и выводы иметь никто не запрещает :)
Можно направлять свои усилия в то, чтобы запретить пользовательский доступ к XML карте, к robots.txt и разным другим разделам, но это из разряда кто во что горазд.
Ключевой момент в том, что для более-менее серьёзного парсинга отдельный XML и не обязателен.
Программный парсинг рабочих страниц можно выполнить и Xenu, и Frog-ом в обход XML карты, - я уж не говорю о более серьёзных инструментах типа A-parser, Zennoposter-а и прочих экзотических вещей, включая самописные парсеры.
Да, коллеги выше порекомендовали варианты черeз CF, через соответствия User-Agent-а в htaccess и прочие варианты уже через php проверку, но это не спасёт от серьёзного намерения спарсить.
p.s. Если уж хотите спрятать XML карту от пользователей - используйте нестандартное название и не прописывайте её в robots.txt. Эта самая простая мера без всяких проверок и CF.
Конечно сложнее. И собрать сложнее и конвертировать сложнее.
Объёмы необходимых работ растут, конкуренция увеличивается, уровень требуемой экспертизы тоже резко возрос.
Раньше для трафика было достаточно уметь поставить WP и сканировать книги из библиотеки 😊
Конечно. И в любительском ключе, и в профессиональном.
Это тоже источники трафика.
И требуется хороших ресурсов.
Правда вопрос какой трафик. Игровой/порно трафик - одна история, нишей тематический - совершенно другая.
Тем кто серьёзно вознамерится копировать ваш сайт XML карта не нужна.
Всё необходимое они и так скопируют по вашим навигационным ссылкам. Вы боритесь с ветряными мельницами.
Между учётом кликового фактора и методикой накрутки всё-таки есть существенная разница.
Говоря о накрутке просто привыкли, что в Яндексе ПФ резко перебивают все остальные факторы и поисковая видимость даёт резкий буст.
В Гугле учётов факторов более сбалансированный, поэтому "накрутка также как в Яндексе" там не работает.
Вы придумываете себе совершенно ненужные задачи.
XML карта должна быть в свободном доступе. Обычным пользователям она и не нужна, при навигации по сайту они её не видят.
Надо технологически меняться, тех. поддержка и ведет эту политику.
Тянуть за уши тех, кто руками и ногами упирается - дело неблагодарное и в общем бесполезное.
В IT нельзя не меняться.
Можно поинтересоваться почему?
Вы занимаетесь совершенно не тем. Нужно не синонимы искать, которые в отрыве от семантической принадлежности могут приводить к неточным и забавным словосочетаниями (как в вашем случае), нужно определить корпус слов, которые описывают вашу тему. В этом вам как раз поможет работа с LSI семантикой.
Вот, ознакомьтесь, чтобы не повторяться.
Работать нужно не с прямыми синонимами отдельных слов, а с дополняющими словами единой семантической группы.
По-разному сравниваем в зависимости от рабочего контекста и поставленной задачи.
Есть сравнение по поисковым характеристикам, есть по UX/UI, есть по маркетинговым/рекламным механикам, есть по дизайну.
Нередко и то, и другое, и третье, и дополнительное (типа объёма текстов) объединяется.
Когда я провожу SWOT анализ, я в Excel-е выписываю рабочие тезисы (в первый столбик), далее целевой сайт (второй столбик), далее 3 и последующие столбцы - топовые конкуренты.
Напротив каждого тезиса вывожу обозначения: "+", "++", "-", "+?".
"+" -> используется решение;
"++" -> наиболее удачное решение;
"-" -> отсутствует решение;
"+?" -> решение присутствует частично.
Получается рабочая таблица по которой видно, где и в каких рабочих тезисах целевой сайт не добирает.
Когда сравнение очевидно, допустим, конкуренты используют промо ролик, а целевой сайт - нет, просто ставлю "-" (ибо понятно).
Когда сравнение не очевидно, то я делаю скриншот, загружаю его по рабочей ссылке и вешаю на конкретное обозначение. Таким образом клиент имеет возможно кликнуть на конкретную ячейку и в браузере загружается скриншот, где конкретно выделена рабочая область и стрелочками указывается, что конкретно имеется ввиду. Иногда использую просто текстовое примечание к ячейке.
Потом к таблице (отдельным документом) я составляю подробные пояснение к рабочим тезисам - насколько они важны, актуальны, у каких конкурентов наиболее удачные решения и как они реализованы. Далее после согласования всё это переносится в конкретные задачи в CRM, а затем внедряется на сайт.
Это в формате клиентского продвижения. В вашем случае (если вы делаете для себя) вы можете просто для себя это фиксировать, чтобы не забыть и потом к этому вернуться.
Нередко внедрение всех конкурентный решений могут занимать долгие месяцы, поэтому когда вновь обращаешься к этому документу некоторые детали могут забываться. Но когда всё подписано и проиллюстрировано, то быстро пробегаешь по таблице (освежаешь в памяти) и смотришь - что внедрено, а что нет.
Когда рабочих тезисов много (несколько десятков), можно отмечать сделанное.
Да, именно для этого.
Также потом полезно проходить по конкурентному перечню и дополнительно смотреть - кто/что дополнительного внедрил, какие новые "игроки" появились в топе.
Cпасибо, интересная подробность, нужно будет протестировать.
