Совсем забыл про тему!
Итак, оказалось что все гораздо прозаичнее, чем можно было бы подумать. Оказалось, что тогда на сайте удалил форум. Там был phpbb на годовалом движке.
Удалил я его, потому как база сообщений разраслась непомерно (за 20'000 тем), а единственными посетителями форума были.... да-да - спамботы! Удалил и забыл.
Именно с этого момента началась на сайте левая посещаемость. Но обнаружил я это по счетчику, а логи посмотреть не догадался.
Оказывается боты ломились на /forum/posting.php - получали 404. Затем ломились на /forum/, и снова получали 404. А затем загружали корневую страницу сайта (что, собственно, и отражалось в статистике) и, не обнаружив новое местоположение форума, отваливали на некоторое время.
Ну а поскольку надо было что-то с этим делать (все-таки боты сильно искажали мне статистику), я поступил так, как любой бы поступил - убил двух зайцев. Создал папку forum, а в ней несколько файлов, которые так просили боты - posting.php, login.php и index.php - с таким вот контентом:
<?
Header("Location: http://counter.rambler.ru/top100.cnt?xxxxxxx");
exit();
?>
Вы не поверите, но боты поперлись по ссылке.
Вы не поверите, но Рамблер засчитал это как посещения внутренних страниц сайта.
Сейчас тот старый форум потихоньку вышел из баз, но до сих пор это дает пару тысяч таких "посетителей" в месяц.
Всем удачи!
Выше я приводил список IP.
Это те, с которых http-запросы приходили по нескольку раз.
Но, стоит заметить, большая часть запросов идет с новых, ранее не светившихся, адресов.
Смею предположить что используется какой-то червь, распространающийся по пользовательским машинам.
Позже попробую установить, прогрессирует ли атака.
Да блин из топа вылетел по вч, но это еще накануне было. А вобще (по нч) разницы не заметил.
Это логично, ведь так и есть.
И кстати, сначала показалось, что меня выкинуи из топ-100, но потом посмотрел код и вспомнил что я в нем не участвую :)
Но данном случае причина, если она разумная, не в этом. Ведь, в частности, Яке сайта нет. А мэйл.ру результаты гугла использует, насколько я понимаю. Т.е. даже выпадание сайта из рейтингов ничего не даст конкуренту, а услуга-то наверняка небесплатная.
Не совсем, понятно что мне теперь делать с этой левой посещаемостью - она мешает моей аналитике. Может быть в этом главная цель ? :)
В среднем 1 запрос в неск минут. Так не положат.
Бывает что сайт попадает в полупесочницу, по причине кривого дизайна. Например шрифт белый, а фон - картинка. Робот естествеено фон не грузит и думает, что белым по белому написаны ссылки.
В итоге индексировать будет одну страницу, пока сам не исправишь. У меня так было с рамблером (и кажется не только сним). Через несколько дней после исправления непеша начал индексировать остальное.
А по НЧ он тоже исчез ?
Я прогнал, у вас же XML используется :)
Удивительно, но он показал 100% неработоспособность. Определенно сервис не поддерживается, хотя задумка великолепная.
Согласен, это понятно.
Т.е. вы верите в то что поисковые системы объединятся с системами статистики ?
Уникальный контент можно генерировать, но полезный (точнее, востребованный) - нет.
Т.е. получается что выдавать пользователю нужно востребованный контент.
Но как системы будущего смогут определять востребованность контента ? А точнее, как смогут определить что контент востребован именно человеком (что это не робот на той стороне кричит - "Ооо... этот сателлит - как раз то, что я искал, пасибо !!!") ?
Мне кажется это спорным, по той простой причине что SEO - это свободный рынок. А Яндекс единственным навряд ли не станет, пока в верхнем правом углу IE7 и Opera9 красуется поле ввода с эмблемой Гугла.
