204 не равно 200.
200 - это возвращен контент, иже с ним страница.
204 - это только заголовки, без контента.
А что там должно быть у вас - только вы знаете. И уж только после этого можно будет смотреть, страшно это или нет, и что делать с этим дальше. В любом случае, если что-то поменялось - нужно искать причину ))
В первом случае по-моему пробел закрался в конфиг файл, нет?
Во втором - нет такого файла логов, судя по всему.
Может быть стоит проверить сначала то, какую ошибку говорит?
Не такой уж большой гемор, на практике. С десяток алертов за год - не такая большая цена за спокойствие от ботов. Разговор идет за автоматических ботов, ни о каком ручном "я хочу его скачать" разговор не ведется, мне было достаточно защиты от банальных "телепортов" сайтов, wget'ов и тд.
"просканит на дыры" - это уж слишком вы утрировали ) если бы можно было "просканить на дыры" сайт, вот просто так - цены бы не было такому софту, или что там это бы выполняло, особенно если сайт самопис, умахаетесь искать дыры.
Нормальные ускорители работают как транспарент (турбо-Опера точно так работала), передавая, в том числе, конечный IP пользователя, с которым можно вести работу. А если "ускоритель" работает грязно и маскирует конечный IP - это проблема юзера, почему он его юзает. Уж точно не для белой цели.
И никто не говорит, что банить надо всех и на второй запрос, например. Умно к этому подходить нужно. Я, например, динамически менял количество запросов от одного пользователя без проверки. Кроме того, после анализа сайта становится понятна поведенческая мера "усредненного юзера", и действовать на блокировку можно начинать в случае отклонения от этой стандартной схемы. Поясню, если 90% пользователей сайта приходя смотрят 2-5 страниц сайта и уходят, то если запросов больше 10 - уже не просто юзер скорее всего )
В общем тонкостей много, все описывать нет смысла - к каждому конкретному сайту можно применить свою схему, достаточно эффективную для конкретной задачи. И спать спокойно.
Тихо сам с собою я веду беседу. Но думаю стоит отписаться, что проблема вроде бы как вчера вечером была решена, заменой списка прокси из другой подсети. Поглядим-посмотрим, пока что полет нормальный.
firstman,
как вы сможете объяснить то, что я утром пощелкал несколько прокси из выданных мне по списку, по парочке запросов буквально, они были в порядке. После чего я их не трогал, и сейчас попытавшись через них открыть первый же запрос в гугл - получил капчу.
Кто-то получается использует эти IP помимо меня, вне зависимости от того, что они стоят под паролем? Или как это можно еще объяснить?
Сегодня с утра попробовал пройтись по прокси, на текущий момент вроде бы ожили в Гугле, посмотрим, что с ними будет ближе к обеду. Ради интереса не буду их трогать некторое время, может снимутся накиданные на них прежними пользователями санкции.
Но вообще нехорошо конечно, у меня второй пул уже накрутил по 5400 раз каждая прокся, по минимум 5-7 запросов на каждую. Итого 270000 запросов на 10 прокси, и не было никогда даже капчи.
Решил взять сегодня прокси в дополнение к еще действующим, еще посомневался, может стоить взять тестовые seo proxy-5, но поминая успешный опыт работы год назад с глобателом - решил что не стоит. Взял сразу требуемые 10, на которые нет тестового периода.
В общем как оказалось зря, жопа не зря чуяла, все прокси оказались уже с капчей на гугл. Заказал 10 - не пошли сразу вообще, еще 10 обновили по тикету - по 1 запросу и привет капча. Как сказали в саппорте - капча не бан :), это конечно понятно, но теперь надо думать как ее сбросить и не уверен, что после сброса эти IP еще кто-то не юзает.
Деньги не возвращают по оферте, да и даже если был возврат - заморочен до ужаса. В общем неприятно вышло, обидно за 30 баксов. В лучшем случае - попробовать вытащить из капчи, если получится, гемор в итоге приличный.
ЗЫ: ситуация немного абсурдна, если юзать свежий браузер и прокси - то капча не вылезает, если старый браузер или через скрипт - вылезает. С другими сео-прокси, от другой конторы, такой траблы нет. Может кто подскажет как эту бяку обойти, раз саппорт не может помочь.
Занимался такой же проблемой на своем статейном сайте. Белый лист для IP поисковых ботов - самое оно, хоть и муторно это. Всех остальных, при очень высокой активности - в бан.
Ну или стандартная уловка со ссылкой-ловушкой. Таким образом сразу отделите ботов-парсеров от юзеров, а затем уж по ботам пройтись и сверив IP с белыми - отсечь всех ненужных.
Скажу так, в среднем на статейнике я отшивал ежедневно не менее 5-8 IP, причем средствами apache ) Правда к этому счастью пришлось сделать маленький скрипт на bash, который в случае бана по IP пользователя с юзерагентом поисковых систем - сообщал мне об этом на телефон. И тогда я шустренько лез на сервак и проверял - этот IP правда принадлежит ПС, или нет. Если да - в белый лист, если нет - оставлял в бане.
ПС, не знаю как последнее время - не так часто меняют IP диапазоны своих ботов, а для некоторых сразу масками делал - и все, никаких проблем.
Лично меня спасало.
MeToGame,
сервер работает нестабильно? Причина какая для его проверки? Как посоветовали выше - можете обратиться в ДЦ и описать проблему, они проверят, тем более, если вы у них его арендуете - это их задача.
Если для себя и на любительском уровне - в сети полным полно разных программ под разные операционные системы для проверки основных узлов компьютера и удаленной диагностики.
Обычно для таких вещей на сайты ставят публичную статистику или с возможностью гостевого просмотра по нужным параметрам. Если этого нет - то вполне возможно, что менеджер темнит с посещаемостью.
Как альтернатива - обсудите возможность тестовой рекламы на 1-2 дня за недорого, и посмотрите эффективность площадки уже со своей стороны.
По поводу сторонних сервисов: определить точную посещаемость сайта практически невозможно, если владелец сайта не позволит. Все цифры будут крайне теоретическими.
