Меня этот мснбот достал, я его забанил на фаерволе, ибо роботс он ингнорировал.
Запросов порядка 100 в секунду на протяжении 6 часов и как минимум треть запросов на несуществющие пути. Причем эти несуществующие пути есть у сайтов близких по тематике. Т.е. явно глюки бота. Я решил что еще рано на этот бот тратить траффик.
Однако судя по всему странный бан. PR и backwards остались.
И гуглбот продолжает регулярно приходить. Уже 4-й день.
Freshbot сейчас пошел по второму разу морды дергать.
А в индексе до сих пор нет.
Бэкварды есть. Бар показывает 4.
PR я в первую очередь посмотрел, но решил, что у бара как всегда старая на пару мес. информация. А бэкварды не додумался посмотреть.
Наличие бэквардов что-то может значить? Ведь прошло еще менее суток.
Примечательно, как я писал выше, одно - траф с гугла снизился резко до 0 в 12 часов по средне американскому времени.
Раньше такого резкого скачка вниз никогда не видел.
Посмотрел по графикам - траф с гугла на эти дорвеи резко упал в 12 часов дня по техасскому времени.
Все таки есть у меня еще надежда, что это временное явление.
Наблюдал тоже самое 22 августа.
А 1 числа вижу только 5% из проиндексированных ранее страниц.
Ну, думаю, прибили дорвей.
А сегодня смотрю опять Гугл на мне резвится вовсю и кол-во проиндексенных страниц изменилось на прежнее значение.
Х.з. почему так было. Может хостер падал, хотя все другие дорвеи на том же сервере вообще никаких изменений не почуствовали.
Мутно все. В наше время строить бизнес на cost-per-click весьма рискованно. Накрутят в момент.
http://www.httpsniffer.com/
HTTPLook, это самое путное что я видел, до этого использовал
HTTPTracer или tcpdump с грепом.
Похоже Грей прав.
Сейчас стал видеть новую базу на www.
Дернул один и тот же запрос с разных айпишников - базы разные, причем нет зависимости по странам.
site:domain.tld domain
Хотя, может быть, кто-то и другой способ знает.
