- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Грабер таскает материалы (текст и фото) с сайтов статейников.
Прикидывается газетой из Киргизии. Состоит в гугл новостях.
У него более десятка подобных сайтов с одинаковым дизайном, работающих по тому же принципу граббинга и парсинга: mts.kg, jashtar.kg, news-rbk.ru и куча другого говна.
В поиске он и его другие домены стоят выше сайтов, с которых скрипт утащил новости.
Поисковики к нему видимо лояльны, никаких санкций. Он работает несколько месяцев (а может и больше). Грабит тексты со СМИ, например dni.ru, starhit.ru.
Хостинг cloudflare. Домены видимо на вымышленной лицо: К* Юлия Павловна, г.Бишкек
На письма не отвечает. Яндексу и гуглам по барабану.
Как защитить свои сайты от граба? Как найти его в логах?
посмотреть логи и забанить
Яндексоиды помогают, если копипаст выше источника.
Указывать имя сайта в тексте новости, водяной знак на фотографиях. Ну и плюс постараться определить юзерагент и заблочить. Думаю что по айпишнику не выйдет его закрыть потому что он может прокси юзать
Указывать имя сайта в тексте новости
И чем это поможет?
http://politland.com/show-business/alina-alekseeva-prizyvaet-lyudej-byt-samostoyatelnymi-televidenie-ne-smozhet-nauchit-pravilno-zhit/
http://www.gazeta.kg/news/show-business/141509-alina-alekseeva-prizyvaet-lyudey-byt-samostoyatelnymi-televidenie-ne-smozhet-nauchit-pravilno-zhit.html
Ну и плюс постараться определить юзерагент и заблочить.
Думаете он ради прикола использует особенный юзерагент типа parser-gazetakg" ? :)
На фотки копирайты, в статьи скрипт, который при копировании ссылки подсовывает и в самих статьях упоминания на свой сайт как в английском так и в русском написании. Надоест ручками статьи чистить, перестанут дергать. Проверенно.
в статьи скрипт, который при копировании ссылки подсовывает
Не вариант - при открывании сайта курлом этот скрипт просто не сработает. Надо сделать невозможным копирование ботом - это может быть создание куков, бан айпишников, ограничение переходов между страницами - т.е. если переход идет через секунду после открытия, значит это бот.
и в самих статьях упоминания на свой сайт как в английском так и в русском написании
preg_replace это решает на этапе постинга, не вариант - RiDDi, все разложил по полочкам