webinfo

Рейтинг
306
Регистрация
22.01.2021
Бороться с парсерами бесполезно, поскольку они маскируются под кого угодно и не вешают на себя вывеску "Я парсер, забань меня!"
И тем более бесполезно бороться с ними, пытаясь скрыть от них карту сайта, которая им нинахрен не сдалась, по большому счёту.
Kykapa4a #:
Фильтра по юзерагенту будет достаточно

А ничего, что кто угодно может вписать себе любой юзерагент?

Djezzy #:

Обычным пользователям она не нужна, но нужна тем, кто хочет копировать информацию с сайта в большом объёме.

Ещё раз: забудь об этом, запретить это невозможно. Единственный способ - раздобыть все IP поисковиков и разрешать доступ только с этих IP.

И в любом случае все страницы копируются путём последовательного обхода ссылок, это всё легко автоматизируется.

suffix #:
Мне utf не нужен от слова совсем.

На utf много чего работает, и не работает в других кодировках. Году эдак в 2010 у меня тоже сайты работали на cp1251, и файлы на сервере в этой кодировке были. Но посыпались проблемы одна за другой, и я от неё отказался, и забыл как досадное недоразумение.

Так что лучше всё же распрощаться не с Битриксом, а с этой кодировкой.

softerra #:
Парсят - значит постоянно показывают ваш контент, подключаясь к вашему ресурсу?

Нет, "парсят" - это совсем другое. То, о чём ты пишешь, называется "проксирование". Изучай матчасть.

suffix #:

Вы не понимаете - этот наше, исконно русское, родное ! :)

Это windows-то? ;)

suffix #:
Не в экономии байтов дело разумеется.

А что ещё? Вроде как utf8 везде рулит вполне успешно. Смысл в однобайтных кодировках есть только при хранении и пересылке больших объёмов информации.

suffix :
Вместо этого прекращают поддержку cp-1251.

А эта кодировка кому-то нужна? Вроде бы прошли те времена, когда экономили каждый байт.

softerra #:
они парсят или сайт скопировали?

Это ты как разграничиваешь? Имеешь в виду ручное копирование? Никто из профессиональных клонировщиков этой дурью не мается.

Всего: 7661