- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
периодически вижу на тдс переходы с юзерагентом
так же видны множественные переходы на доры, которых еще или уже нет в индексе яндекса, с передачей поискового реферера яндекса (юзерагенты пробрасывают разные)
из общего у них :
юзерагенты разные ("реальные" а не "%bot_name%").
пробрасывают поисковый реферер (яндексовский. параметры в реферере меняются)
принимают/отдают куки
выполняют js (через js проверял разные параметры, например screen, возвращают данные нормально)
идут с айпишников детектящихся как пчелайн, корбина, etc (99% мск и область + из других мест. но возможно это базы геоайпи неправильно определяют)
на гоуфаке видел несколько человек отписывались с похожей симптоматикой.
вас такие боты долбят? как детектите?
http://phantomjs.org/
серьезно? я читал что это за платформа. вопрос в другом, кто и как борется с ними
или сигой светануть очень надо было?
например, для апача:
SetEnvIfNoCase User-Agent "PhantomJS" badbot
Deny from env=badbot
например, для апача:
из общего у них небольшой пул юзерагентов
возможно я не очень понятно изложил. но этот момент указан в исходных данных. прокидывай они всегда один юзерагент, вопрос не поднимался бы
повторюсь,
юзерагенты разные ("реальные" а не "%bot_name%").
пробрасывают поисковый реферер (яндексовский. параметры в реферере меняются)
принимают/отдают куки
выполняют js (через js проверял разные параметры, например screen, возвращают данные нормально)
realefs, По слову phantomjs и linux последние тоже жлобы не 1 продажи на миллионе уников.
вас такие боты долбят? как детектите?
Долбят, никак.
Для nginx, yandex.com|ya.ru добавь туда в конфиг только.
=========
А блин, может и не подойдет. Надо писать более разветвленное правило. Как вариант, собрать их айпишники и блэк-лист.
Для nginx, yandex.com|ya.ru добавь туда в конфиг только.
=========
А блин, может и не подойдет. Надо писать более разветвленное правило. Как вариант, собрать их айпишники и блэк-лист.
и забыть о трафике с яндекса? для буржа это конечно выход
да, можно на ханипоте их собрать и банить по айпишникам, только есть некоторые сомнения по поводу происхождения адресов и возможного лишения части трафика.
так то от этих ботов ни холодно, ни жарко. только цифры на тдс засирают
Можно взять листы спам(мусорных) ботов тут:
http://en.linuxreviews.org/HOWTO_stop_automated_spam-bots_using_.htaccess
https://github.com/bluedragonz/bad-bot-blocker/blob/master/.htaccess
Оставьте только нужные вам, остальные будут фильтроваться.
еще один топик не читай, сразу отвечай. ведь сига сама себя не оставит.
@bolyk, прочитай стартопик и после ответь, как твое сообщение поможет?
осталось только дождаться @vastamanager, который расскажет что в его чудодоргене такого не бывает.