- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сделал скрипт, фиксирующий количество страниц, просмотренных каждым посетителем. Всех известных мне роботов (в список набралось больше сотни) отделил через USERAGENT, а уникумов определяю через IP.
Скрипт заработал, и по нему я вижу, что некоторые посетители проводят на сайте по три часа, просматривая десятки, если не сотни, страниц.
Прекрасно, если это действительно люди, которым так интересен мой сайт. Но можно предположить, что это неизвестные мне роботы или же скачивающие сайт качалки. В последнем случае неплохо бы их забанить, но встает вопрос: не может ли под видом пользователя быть какой-нибудь «секретный» робот одной из ведущих поисковых систем (Яндекс, Гуль или Рамблер)?
Есть у этой тройки поисковиков «скрытые» роботы, маскирующиеся под обычного пользователя?
Если есть, то можно ли узнать их IP?
Если такого «скрытого» робота забанить минут на пятнадцать после просмотра им двух десятков страниц, то это не вызовет санкций?
В последнем случае неплохо бы их забанить, но встает вопрос: не может ли под видом пользователя быть какой-нибудь «секретный» робот одной из ведущих поисковых систем (Яндекс, Гуль или Рамблер)?
Клоакеров же как-то вычислют, не думаю что только по стуку.
Вот я и этого слегка опасаюсь...
Правда, есть существенное отличие от клоакинга: я показываю 20 страниц любому IP.