- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток.
Предистория: Столкнулся с ситуацией, которая раньше не давала о себе знать:
Когда превышаю 15% нагрузки на хостинг(серв), то хостер отрубает сайт на 10мин, отдавая 503.
В логах перед падением часто вижу ботов не известных мне, судя по всему это они атакуют.
Вопросы:
Не давно в robots.txt блокировал таких ботов как "yamdex", а как заблокировать например такое Presto/2.1.1? Т.е. в robots.txt я должен прописать:
User-agent: Presto/2.1.1
Disallow: / #
Правильно ли это и как реагируют ПС если у меня идёт несколько исключений?:
Disallow: / #
User-agent: Wget
Disallow: / #
User-agent: Presto/2.1.1
Disallow: / #
И ещё вопрос: часто бывает идёт столбиком несколько строчек, например:
С такими IP можно бороться также запрещая их в robots.txt?
P.S. поиск юзал, но только ещё больше запутался.
Спасибо.
Роботы, особенно грабберы, вряд ли будут читать robots.txt и следовать инструкциям:)
78-106-109-240.broadband.corbina.ru <<<что открывали и каким браузером>>>
Это - не робот, а посетитель (живой человек с руками и ногами). Соответственно, ему на ваш robots тоже пофигу.
Блокировать можно только серверными методами, имея в распоряжении его ip (часто меняется; ботнеты + прокси), User-Agent (подделывается в 90% случаях) и остальные косвенные данные (чаще всего: запрос нескольких страниц в секунду; отсутствие реферера; серф по всем ссылкам подряд). Анализируйте имеющуюся информацию и думайте, как и по каким инструкциям их заблокировать.
Я на одном портале, где спам-боты и остальные выкачивальщики живут сотнями ежедневно, расставил несколько различных ловушек, на которые способны попасть только боты - и они моментально заносятся в бан-лист на сутки. После 5 попаданий в бан-лист любой ip заносится в блек-лист, и больше робот не ходок.
Роботы, особенно грабберы, вряд ли будут читать robots.txt и следовать инструкциям:)
Это - не робот, а посетитель (живой человек с руками и ногами). Соответственно, ему на ваш robots тоже пофигу.
Блокировать можно только серверными методами, имея в распоряжении его ip (часто меняется; ботнеты + прокси), User-Agent (подделывается в 90% случаях) и остальные косвенные данные (чаще всего: запрос нескольких страниц в секунду; отсутствие реферера; серф по всем ссылкам подряд). Анализируйте имеющуюся информацию и думайте, как и по каким инструкциям их заблокировать.
Я на одном портале, где спам-боты и остальные выкачивальщики живут сотнями ежедневно, расставил несколько различных ловушек, на которые способны попасть только боты - и они моментально заносятся в бан-лист на сутки. После 5 попаданий в бан-лист любой ip заносится в блек-лист, и больше робот не ходок.
А хостер никаким образом не должен способствовать решению проблемы? Т.е. предлагать какие то пути решения?
берите vps помощнее тогда. что сейчас за хостинг ? сколько хитов-хостов ?
сколько запросов sql в среднем на страницу ?
берите vps помощнее тогда. что сейчас за хостинг ? сколько хитов-хостов ?
сколько запросов sql в среднем на страницу ?
majordomo, 1700-2000 хостов и 7000-10000 хитов.
А вот где последнюю циферку посмотреть подскажите, я только вижу таблицу количество mysql-запросов.
GasTarbols добавил 10.12.2008 в 22:07
Ещё вопрос такой, что такое:
Запретить передачу ссылок через POST
В логах везде GET, а разница между ними в чём?
А хостер никаким образом не должен способствовать решению проблемы? Т.е. предлагать какие то пути решения?
А в чем собственно проблема? То, что к вам посетители ходят? Ну выключите тогда сайт, или запретите ходить Яндексу и Гуглу - думаю, их поменьше станет.
А в чем собственно проблема? То, что к вам посетители ходят? Ну выключите тогда сайт, или запретите ходить Яндексу и Гуглу - думаю, их поменьше станет.
Сами же понимаете что тут дело не в ботах яши и гугла.
Хорошо, задам вопрос иначе: хостер не должен помогать своим клиентам в борьбе с ботами(даунлоадерами и т.д.) ?
А хостер никаким образом не должен способствовать решению проблемы? Т.е. предлагать какие то пути решения?
как правила хостер отмазывается.. мол скрипты пишите нормальные или переходите на другой тариф :)
Сами же понимаете что тут дело не в ботах яши и гугла.
Это я предложил как вариант уменьшения посетителей:)
хостер не должен помогать своим клиентам в борьбе с ботами(даунлоадерами и т.д.) ?
Я конечно не хостер, но мне кажется, что у хостера задача обеспечивать работоспособность сайта, а не ограничивать доступ. Если бы у вас посещаемость была аналогичная, только человеческая - вы бы не просили хостера помочь бороться с этим? А хостер не виноват, что ваш сайт роботы любят.
Это все ИМХО, а по делу - читайте договор с хостером, там все четко прописано, что он вам должен.
Но от такой "борьбы", думаю, пострадают обычные пользователи, а боты так и будут качать, изменив 1-2 настройки - саппорт вряд ли будет сильно заморачиваться над решением этой проблемы.
Это я предложил как вариант уменьшения посетителей:)
Я конечно не хостер, но мне кажется, что у хостера задача обеспечивать работоспособность сайта, а не ограничивать доступ. Если бы у вас посещаемость была аналогичная, только человеческая - вы бы не просили хостера помочь бороться с этим? А хостер не виноват, что ваш сайт роботы любят.
Это все ИМХО, а по делу - читайте договор с хостером, там все четко прописано, что он вам должен.
Но от такой "борьбы", думаю, пострадают обычные пользователи, а боты так и будут качать, изменив 1-2 настройки - саппорт вряд ли будет сильно заморачиваться над решением этой проблемы.
Спасибо большое за советы и ответы.
Сейчас в оффлайне человек предложил помощь, посмотрим что получиться ;)
Темы можно closed.