- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
День добрый
Поглядел логи сервера, там за последние сутки такие данные:
4946 - crawl-66-249-66-87.googlebot.com
3927 - 88-190-238-59.rev.dedibox.fr
2567 - ec2-184-73-92-9.compute-1.amazonaws.com
1537 - blackhawks.dreamhost.com
Как бы гугл молодец, пусть гуляет - но как закрыть в htacess сайт от остальных товарищей? Судя по всему либо спам роботы всякие, либо активно юзающие прокси - ни те, ни те на сайте не нужны.
До этого закрывал
Order Allow,Deny
Allow from all
Deny from много-всяких-наглых-айпишников
теперь хочу по маске типа *.compute-1.amazonaws.com, *.rev.dedibox.fr
спасибо
Reverse DNS Lookup будет затормаживать первое обращение пользователя к вашему сайту на секунду-две. Вам такое подойдет?
В принципе (в теории), если с кешами заморачиваться все равно будет часто притормаживать - ботов отсеивать будет быстро а уник пользователей все равно притормаживать.
Имхо банить плохих ботов надо не по обратному адресу. Да и то вряд ли это будет эффективно на 100%, но если проект серьезный и ущерба много - оно того стоит.
либо активно юзающие прокси - ни те, ни те на сайте не нужны.
не каждый прокси-сервер отмечает свое присутствие в заголовках http-запроса => со 100%-й гарантией это сделать невозможно, но большинство прокси-серверов ставят в заголовок http-запроса поле Via:
здесь мы всех,кто пришел через прокси-сервер -> на главную страницу..
Спасибо, видел в сети такое решение, нужно проанализировать по логам точки входа этих чертей на сайт.
А все же, можно ли как-то закрыть имеющиеся обнаруженные "хвосты"?
Обнаруженные - да, по маске. Но придётся следить за новыми.
Спасибо! А не подскажете, как это должно выглядеть?
К примеру, что бы запретить *.compute-1.amazonaws.com и *.dedibox.fr
Rcxo добавил 01.11.2011 в 10:12
Вопрос ещё актуален:)
Спасибо! А не подскажете, как это должно выглядеть?
К примеру, что бы запретить *.compute-1.amazonaws.com и *.dedibox.fr
Rcxo добавил 01.11.2011 в 10:12
Вопрос ещё актуален:)
По такой маске запретить ничего не получится.
Запрещать можно сетки по netmask или CIDR.
Например, смотрим
И добавляем в .htaccess
Order allow,deny
Allow from all
Deny from 184.72.0.0/15
По аналогии смотрим других "вредителей" и добавляем их через запятую в Deny
/15
Смело. :) Ведь это может быть крупный провайдер.
Смело. :) Ведь это может быть крупный провайдер.
Ну да, Амазон вроде не маленький :)
Но куда деваться, если ТС не хочет с ним дружить )))
Rcxo, так что Вы аккуратнее с подобными банами. Ладно Амазон - с таким размахом можно и Корбину какую-нить снести.
А это уже совсем другой трафик.