Вопрос о методах защиты каталога от парсинга и поисковой оптимизации

OO
На сайте с 31.03.2014
Offline
5
711

Есть большой каталог, который любой желающий может спарсить: сначала страницы, потом ссылки на конкретную позицию, а так же сам контент. Каким образом защитить сайт не в убыток поисковому индексированию? Является ли метод внедрения капчи при n переходах по странице таковым? Или же поисковик точно так же перестает индексировать при n переходах?

pastuhoff
На сайте с 29.10.2005
Offline
229
#1

Все, что доступно серферу через браузер, можно спарсить.

Коллекционер доменных имен.
LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#2

Зачем парсить ваш сайт, когда можно быстро спарсить ваши данные из кэша гугла и яндекса?

А вы там дальше защищайтесь сколько вам угодно.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
OO
На сайте с 31.03.2014
Offline
5
#3

Про кэш гугла не думал, но ведь парсить кэш гугла жутко неудобно - там данные не структурированные. Стоит вопрос об усложнении парсинга не в убыток поисковому индексированию. Чтобы парсеру парсить перехотелось.

L
На сайте с 07.12.2007
Offline
351
#4
pastuhoff:
Все, что доступно серферу через браузер, можно спарсить.

Это только теоретически. Для многостраничников достаточно сделать так, чтобы овчинка не стоила выделки.

OO
На сайте с 31.03.2014
Offline
5
#5

Ladycharm, меня волнует вопрос: как это скажется на индексировании сайта, если использовать капчу? Может, кто-то сможет ответить?

Den73
На сайте с 26.06.2010
Offline
523
#6

капча зло, есть нормальные варианты прозрачные для пользователя

OO
На сайте с 31.03.2014
Offline
5
#7
Den73:
капча зло, есть нормальные варианты прозрачные для пользователя

Почему зло? Какие варианты? Расскажите, будьте добры. Мне было бы полезнее знать, что это за варианты, чем сам факт их наличия.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий