Я рад 😊
Пожалуйста, только я не Анатолий, я - Антоний.
Всех благ! 😉
Сделайте ещё ряд доп. настроек,
И процесс пойдет,
Добрый вечер, пожалуйста.
Можно в настройках программы SF указать, чтобы программа следовала по страницам с noindex.
В Меню -> Configuration -> Crawl Config
вот здесь ставите галочку,
Либо снять со страниц запрет индексации в meta robots.
Значит как программист перестал быть востребованным.
Возраст 40+ действительно может стать причиной отказа, если команда молодая. Но если ты работаешь удалённо, то совершенно неважно какой у тебя возраст, если ты профессионально и производительно делаешь свою работу.
Некоторые действительно выгорают/вырабатываются/перестают развиваться/теряют хватку/теряют производительность. Тогда - да, приходится искать себе другое применение.
Формально - да, но на мой взгляд вы преувеличиваете потенциальную полезность XML для стороннего парсера.
Во-первых, мы изначально не знаем что/в каком объёме/какой периодичности будет парситься контент.
Я вообще сомневаюсь, что те кто занимаются парсингом нацеленно ищут XML файл хотя бы потому что:
а) он не всегда есть
б) он не всегда корректно сгенерирован
в) он не всегда содержит актуальные данные.
Во-вторых, при парсинге можно настроить рабочие критерии (рабочее пространство по URL, отсечь параметры и т.д.)
Это вызывает какие-то дополнительные сложности?
Условно, если мы несколькими кликами мышки запустим тот же доступный Xenu и пробежимся по сайту TC, какое-либо существенное кол-во запросов к сайту нас остановит?
Вы уверены, что будет какое-то дальше?
Я например думаю, что прочитав первые ответы TC вероятно и не вернется в тему (как это нередко бывает).
Роман, а ребята из Вебмастера не планируют более полно отвечать на те вопросы, которые были заданы в комментариях?
Далеко не все комментирующие получили ответы на свои вопросы и я в том числе.
Ссылка на мой вопрос.
Именно. Проблема мне тут видится в другом, проблема в том, что TC серьёзно уверен, что для парсинга нужна XML карта.
А дело не в ней, дело в том, то пользователь в любом случае может получить навигационную структуру сайта. А дальше уже хоть с XML картой, хоть без неё.
p.s. Вот определить квоту запросов для отдельного IP - это уже более серьёзная мера, хотя и она профессионалом своего дела решится (последовательным использованием прокси адресов).
Это рекомендация ПС предоставлять XML карту в свободном доступе.
На многих проектах закрываю карту для обычных юзеров.
Я такого же мнения, что и ТС. Карта и другие системные разделы (для ПС) должны быть закрыты и быть только для ПС.
Отдельные персональные мнения и выводы иметь никто не запрещает :)
Можно направлять свои усилия в то, чтобы запретить пользовательский доступ к XML карте, к robots.txt и разным другим разделам, но это из разряда кто во что горазд.
Ключевой момент в том, что для более-менее серьёзного парсинга отдельный XML и не обязателен.
Программный парсинг рабочих страниц можно выполнить и Xenu, и Frog-ом в обход XML карты, - я уж не говорю о более серьёзных инструментах типа A-parser, Zennoposter-а и прочих экзотических вещей, включая самописные парсеры.
Да, коллеги выше порекомендовали варианты черeз CF, через соответствия User-Agent-а в htaccess и прочие варианты уже через php проверку, но это не спасёт от серьёзного намерения спарсить.
p.s. Если уж хотите спрятать XML карту от пользователей - используйте нестандартное название и не прописывайте её в robots.txt. Эта самая простая мера без всяких проверок и CF.
Конечно сложнее. И собрать сложнее и конвертировать сложнее.
Объёмы необходимых работ растут, конкуренция увеличивается, уровень требуемой экспертизы тоже резко возрос.
Раньше для трафика было достаточно уметь поставить WP и сканировать книги из библиотеки 😊
Конечно. И в любительском ключе, и в профессиональном.
Это тоже источники трафика.
И требуется хороших ресурсов.
Правда вопрос какой трафик. Игровой/порно трафик - одна история, нишей тематический - совершенно другая.
