- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Совершено случайно обнаружил этот "мифический" хитробот на одном из своих сайтов.
Если кому интересно его IP: 64.233.173.73
Сайт совершенно белый без редиректов и пр. Создан неделю назад. Тематика очень денежная: "loans" (может поэтому этот "хитробот" и пришел). Простой googlebot крутится каждый день, а этот пришел robots.txt не запросил, user-agent у него Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322) ни картинки ни css не подгружал.
Если у кого есть другие IP хитроботов пауков, выкладываете в эту тему, конечно если не жалко:)
Подробнее про реферер если можно... как часто где был...
У меня как то канал забился, и браузер обрубал соединение с сервером. хейдер в логах учитывался но css и остальное все оставалось не подгруженым... всякое бывает...
http://www.google.com/search?num=100&q=64.233.173.73
user-agent у него Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322) ни картинки ни css не подгружал.
яндексовского хитрюка так когда-то вычисляли ;)
(может поэтому этот "хитробот" и пришел)
не. регулярно. у меня тоже. часто сразу после медиапартнерс забегал раньше.
может разве что айпишка не такая была.
Что за зверь такой этот "хитробот" ? :)
хитробот это робот, который маскируется под человека, эмулирует вход человека на вашу страницу. Его цель разоблачить клоаки, редиректы и тд, после прихода сравнивает вашу страницу в кэшэ с тем что он у видел
яндексовского хитрюка так когда-то вычисляли ;)
Ни так вычисляли :) подругому :)
Ни так вычисляли подругому
А как? :) .....
хитробот это робот, который маскируется под человека, эмулирует вход человека на вашу страницу. Его цель разоблачить клоаки, редиректы и тд, после прихода сравнивает вашу страницу в кэшэ с тем что он у видел
А если он спалит клоакинг, то за этим последует бан или жестокая пессимизация?
А как? :) .....
это не публичный разговор.