Бороться с парсерами бесполезно, поскольку они маскируются под кого угодно и не вешают на себя вывеску "Я парсер, забань меня!" И тем более бесполезно бороться с ними, пытаясь скрыть от них карту сайта, которая им нинахрен не сдалась, по большому счёту.
На utf много чего работает, и не работает в других кодировках. Году эдак в 2010 у меня тоже сайты работали на cp1251, и файлы на сервере в этой кодировке были. Но посыпались проблемы одна за другой, и я от неё отказался, и забыл как досадное недоразумение.
Так что лучше всё же распрощаться не с Битриксом, а с этой кодировкой.
И тем более бесполезно бороться с ними, пытаясь скрыть от них карту сайта, которая им нинахрен не сдалась, по большому счёту.
Фильтра по юзерагенту будет достаточно
А ничего, что кто угодно может вписать себе любой юзерагент?
Обычным пользователям она не нужна, но нужна тем, кто хочет копировать информацию с сайта в большом объёме.
Ещё раз: забудь об этом, запретить это невозможно. Единственный способ - раздобыть все IP поисковиков и разрешать доступ только с этих IP.
И в любом случае все страницы копируются путём последовательного обхода ссылок, это всё легко автоматизируется.
Мне utf не нужен от слова совсем.
На utf много чего работает, и не работает в других кодировках. Году эдак в 2010 у меня тоже сайты работали на cp1251, и файлы на сервере в этой кодировке были. Но посыпались проблемы одна за другой, и я от неё отказался, и забыл как досадное недоразумение.
Так что лучше всё же распрощаться не с Битриксом, а с этой кодировкой.
Парсят - значит постоянно показывают ваш контент, подключаясь к вашему ресурсу?
Нет, "парсят" - это совсем другое. То, о чём ты пишешь, называется "проксирование". Изучай матчасть.
Вы не понимаете - этот наше, исконно русское, родное ! :)
Это windows-то? ;)
Не в экономии байтов дело разумеется.
А что ещё? Вроде как utf8 везде рулит вполне успешно. Смысл в однобайтных кодировках есть только при хранении и пересылке больших объёмов информации.
Вместо этого прекращают поддержку cp-1251.
А эта кодировка кому-то нужна? Вроде бы прошли те времена, когда экономили каждый байт.
они парсят или сайт скопировали?
Это ты как разграничиваешь? Имеешь в виду ручное копирование? Никто из профессиональных клонировщиков этой дурью не мается.