- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Какие технологии при малых затрат программистов, могут очень сильно затруднить работу парсерам?
У меня большой каталог сайтов, разбитый по категориям, я не хотел что бы их у меня увели конкуренты
они могут спокойно все это выкачать
бан по айпи при превышении определенного числа запросов за единицу времени
бан по айпи при превышении определенного числа запросов за единицу времени
ага, и как результат половина страниц вылетит из поисковиков
В общем-то никак нельзя от парсеров спастить: все что выложено в общий доступ - может быть украдено.
Благодарю, я до этого сам дошел:)
В общем-то никак нельзя от парсеров спастить: все что выложено в общий доступ - может быть украдено.
Индексация не так важна - в моем случае.
Цель при 20% затрат, усложнить работу парсерам на 80%
ага, и как результат половина страниц вылетит из поисковиков
В общем-то никак нельзя от парсеров спастить: все что выложено в общий доступ - может быть украдено.
никуда оно не вылетит. Поисковики по вашему долбятся на все страницы скопом за секунду? вы заблуждаетесь. В крайнем случае можно исключить их айпи из фильтра
еще можно верстку каждой страницы менять при обращении, рандомизировать имена классов, например заменять <span> на <dl><dt><blockquote> и прочие редко используемые теги. но это уже извращенство
neolord добавил 23.02.2009 в 19:37
А раз индексация не важна то просто генерируйте код страницы через JS
Верно, просто написать систему случайной смены структуры страниц.
У меня для DLE есть модуль, сейчас его тестирую. В день парочка вредных ботов попадается. Помогает в основном от полного выкачивания сайта.
А защита чисто от парсина - это "плавующий" шаблон + добавление в контент в малых количествах "мусора" (много может повлиять на выдачу в поисковиках) и очистку его javascripтом.
Цель при 20% затрат, усложнить работу парсерам на 80%
Правило Парето применимо не всегда...
я скажу так. если поставят цель выкачать - выкачают, как бы вы не старались. если такой цели ни у кого нет, то даже если вы доплатите - никто не будет ничего делать