- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Привет всем!
Кто что знает про данного робота?
Долбит все сайты на разных серваках (ЮА, РУ, Германия, США)
Вот так представляеться в логах. По IP робот имеет отношение к Амазон.
Блокирую по айпи и в роботе запертил индесировать по юзер агент.
Нет офф инфы о данном роботе Амазон. Походу хитрожопые. Вообщем гляньте нагрузку за последнюю неделю своих сайтов. Не удивительно будет что там этот MauiBot долбодятел стучится
Вот так представляеться в логах. По IP робот имеет отношение к Амазон.
MauiBot (crawler.feedback+wc@gmail.com)
Organization: Amazon Technologies Inc. (AT-88-Z)
Пример серверов робота
52.192.0.0/11
54.236.0.0/15
54.72.0.0/13
54.80.0.0/12
52.84.0.0/14
52.88.0.0/13
34.192.0.0/10
107.20.0.0/14
52.0.0.0/8
35.152.0.0/13
35.160.0.0/12
35.176.0.0/13
54.192.0.0/12
По IP робот имеет отношение к Амазон.
Кто у годно такое отношение к нему может иметь https://aws.amazon.com/ru/ ...1 год бесплатно.
Амазон — тот ещё рассадник
Кто у годно такое отношение к нему может иметь https://aws.amazon.com/ru/ ...1 год бесплатно.
ого. даже так... кто то посадил на амазонском сервере конченого робота ..или сам амазон...
спс за наводку.
а что больше никого MauiBot не напрягал?
Заблокировал его давно.
mastershop, приходил на пару сайтов. Забанил юзерагент в .htaccess, хотя буржуи пишут что запрета в роботсе хватает.
Заблокировал его давно.
Не подскажите как?
Через роботс, по айпи в htaccess, иначе?
mastershop, через htaccess просто перечислил ip долбящегося бота :)
mastershop,
RewriteCond %{HTTP_USER_AGENT} MauiBotRewriteRule (.*) - [F,L]
Samail, Апокалипсис, благодарю!
Пока в роботс закрою индексацию ему. Если не дойдет ему - то тогда пропишу в htaccess.
Думаете у амазона такой емейл будет?) - MauiBot (crawler.feedback+wc@gmail.com)
Локации: Россия, США, Англия, Германия, Франция, Нидерланды, Украина, Сингапур, Австралия, Япония, Австрия (https://www.adelinahost.com/ru)