Повадки ботов и подозрительная активность в логах. Делимся наблюдениями.

12
[Удален]
6525

Привожу логи с комментариями, моего домена в зоне RU, недавно зарегистрированного. Я удалил из логов мои заходы на сайт. (Некоторые адреса страниц моего сайта, поисковые запросы и сам домен изменены).

204.236.235.245 - - [12/Apr/2012:00:30:10 +0400] "GET /сервисная-страница.php HTTP/1.0" 200 20 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
204.236.235.245 - - [12/Apr/2012:00:30:43 +0400] "GET /страница-1.html HTTP/1.0" 200 4980 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
Первый посититель (после меня, конечно). Ему настучал о сайте плагин в моем Хроме.
199.59.149.165 - - [12/Apr/2012:00:31:28 +0400] "GET / HTTP/1.1" 200 1437 "-" "Twitterbot/1.0"
Решил дать пинка под зад поисковикам, ну и заодно и посмотреть на текущую ситуацию, ввиду:
/ru/forum/698045
/ru/forum/706330
173.192.79.101 - - [12/Apr/2012:00:31:29 +0400] "GET / HTTP/1.1" 200 1437 "-" "ShowyouBot (http://showyou.com/crawler)"
За твитербототом прибежал (иначе не скажешь) буржуйский бот какого-то сервиса связанного с видео.
184.73.121.22 - - [12/Apr/2012:00:33:40 +0400] "GET / HTTP/1.1" 200 1437 "-" "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.2) Gecko/20100115 Firefox/3.6 (FlipboardProxy/1.1; +http://flipboard.com/browserproxy)"
А следом еще один буржуйбот какого-то проксисервера.
69.164.209.170 - - [12/Apr/2012:00:49:33 +0400] "GET / HTTP/1.1" 200 3135 "-" "Java/1.6.0_26"
Еще один буржуй, но на этот раз может даже залетный чекловек (что очень мало вероятно) или не вежливый бот. Не представился.
204.236.235.245 - - [12/Apr/2012:02:55:45 +0400] "GET /страница-1.html HTTP/1.0" 404 25 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
Пока самый активный бот (я немного удивлен).
195.239.178.205 - - [12/Apr/2012:03:43:35 +0400] "GET / HTTP/1.0" 200 3135 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
Первй бот из касты поисковиков. (Сильно удивлен)
93.183.204.66 - - [12/Apr/2012:05:23:36 +0400] "GET /administrator/index.php HTTP/1.0" 404 297 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3"
93.183.204.66 - - [12/Apr/2012:06:02:20 +0400] "GET /administrator/index.php HTTP/1.0" 404 297 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3"
Червячок :)) с взломанного сайта panorama-center.com.ua на супер-движке, пытает счастья, но получает 404 обломинго :)
100.43.81.11 - - [12/Apr/2012:08:14:00 +0400] "GET / HTTP/1.1" 200 1437 "-" "Mozilla/5.0 (compatible; TweetedTimes Bot/1.0; +http://tweetedtimes.com)"
Еще один бот сервиса, каким-то боком связанного с твитером.
204.236.235.245 - - [12/Apr/2012:11:09:07 +0400] "GET / HTTP/1.0" 200 3135 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
204.236.235.245 - - [12/Apr/2012:11:09:12 +0400] "GET /страница-1.html HTTP/1.0" 404 25 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
204.236.235.245 - - [12/Apr/2012:11:09:45 +0400] "GET /admin HTTP/1.0" 301 308 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
204.236.235.245 - - [12/Apr/2012:11:09:45 +0400] "GET /admin/ HTTP/1.0" 200 1579 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
Старый знакомый, видно, что достаточно активен. Шарится по страницам, которые спалил плагин.
66.249.17.105 - - [12/Apr/2012:13:12:36 +0400] "GET / HTTP/1.1" 200 1437 "-" "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13 GTB7.1"
ХЗ, кто. Лазят тут всякие.
195.239.178.205 - - [13/Apr/2012:03:43:36 +0400] "GET / HTTP/1.0" 200 3135 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
Опять Нигма. Как вы не знали, что он тоже пытается претендовать на звание поисковика? Трафика с него и под микроскопом трудно разглядеть, но старается ведь из кожи вон лезет :crazy:
66.249.72.207 - - [13/Apr/2012:13:45:53 +0400] "GET / HTTP/1.1" 200 1437 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Убедившись, что на мой аккаунт твитера "основные" гости не реагируют, пнул через friendfeed.com, вуаля и гугл тут как тут :)
Хм, не один бот не смотрит в роботс, я для кого его пишу?
72.14.199.248 - - [13/Apr/2012:13:45:54 +0400] "GET / HTTP/1.1" 200 1437 "-" "Mozilla/5.0 (compatible) Feedfetcher-Google;(+http://www.google.com/feedfetcher.html)"
Бот средства, с помощью которого Google захватывает фид RSS или Atom.
173.192.79.101 - - [13/Apr/2012:13:45:55 +0400] "GET / HTTP/1.1" 200 1437 "-" "ShowyouBot (http://showyou.com/crawler)"
Охотник за видео, уже заглядывал с Твитера.
50.16.177.156 - - [13/Apr/2012:13:48:32 +0400] "HEAD / HTTP/1.1" 200 0 "-" "-"
75.101.147.15 - - [13/Apr/2012:13:49:26 +0400] "HEAD / HTTP/1.1" 200 0 "-" "Firefox"
173.255.232.130 - - [13/Apr/2012:14:02:33 +0400] "GET / HTTP/1.1" 200 3135 "-" "Java/1.6.0_26"
Кто такие? Что хотят? Много нечисти всякой по интернетам бродит.
195.239.178.205 - - [14/Apr/2012:03:45:04 +0400] "GET / HTTP/1.0" 200 3135 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
Вы не подумайте, что я Нигму пиарю :) Но это факт, он активен :)
66.249.72.207 - - [14/Apr/2012:07:02:36 +0400] "GET /страница-1.html HTTP/1.1" 200 1936 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Гугл не спешит, но хоть шевелится. Как вы наверно заметили, не которые вообще и не собираются приходить :)
Опять не смотрит в роботс, может я там какое-то правило написал.
66.249.72.207 - - [14/Apr/2012:07:02:37 +0400] "GET /.html HTTP/1.1" 403 143 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
А это еще что такое? Да, у меня псевдостатика, но зачем сочинять адреса? (Благо движок не кривой, хоть и самописный)
193.169.234.221 - - [14/Apr/2012:08:57:28 +0400] "GET / HTTP/1.1" 200 1437 "" "Mozilla/5.0 (compatible; statdom.ru/Bot; +http://statdom.ru/bot.html)"
Этот бот простукивает домены.
195.239.178.205 - - [15/Apr/2012:03:45:36 +0400] "GET / HTTP/1.0" 200 3135 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
195.239.178.205 - - [16/Apr/2012:03:44:04 +0400] "GET / HTTP/1.0" 200 3135 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
Нигма - настойчива, но туповата. Чего долбится только на главную, есть ведь и другие страницы, но умом Россию не понять... :bl:
217.69.133.29 - - [16/Apr/2012:09:51:55 +0400] "GET /sitemap.xml HTTP/1.0" 404 285 "-" "Mozilla/5.0 (compatible; Mail.RU/2.0)"
Майл попытался глянуть карту.
178.154.239.26 - - [16/Apr/2012:15:32:16 +0400] "GET / HTTP/1.1" 200 3135 "-" "Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)"
Яндекс походу отморозился, пока его дождешься и состаришься. Что же, давайте дружно позовем Деда Мороза. Абдурилка - в моем случае, вызвала духа Пушкина бота Яндекса. :popcorn:
77.88.27.27 - - [16/Apr/2012:15:46:49 +0400] "GET / HTTP/1.1" 200 1437 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
77.88.27.27 - - [16/Apr/2012:16:47:07 +0400] "GET / HTTP/1.1" 200 1527 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
77.88.27.27 - - [16/Apr/2012:19:43:09 +0400] "GET / HTTP/1.1" 200 1687 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
77.88.27.27 - - [17/Apr/2012:03:45:53 +0400] "GET / HTTP/1.1" 200 1625 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
Контент динамичный, и бот на это реагирует четырьмя заходами за 12 часов. (Роботс его тоже не интересует)

Продолжение следует...

[Удален]
#1

Продолжение...

195.239.178.205 - - [17/Apr/2012:03:47:50 +0400] "GET / HTTP/1.0" 200 3544 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
Нигма опять долбится на главную.
66.249.72.207 - - [17/Apr/2012:14:26:53 +0400] "GET / HTTP/1.1" 200 1743 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
77.88.27.27 - - [17/Apr/2012:15:44:46 +0400] "GET / HTTP/1.1" 200 1674 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
193.169.234.254 - - [17/Apr/2012:17:41:36 +0400] "HEAD / HTTP/1.1" 200 0 "" "Mozilla/5.0 (compatible; stat.cctld.ru/Bot; +http://stat.cctld.ru/bot.html)"
statdom.ru (бот, который простукивает домены, уже заглядывал)
95.79.132.94 - - [17/Apr/2012:23:06:46 +0400] "GET / HTTP/1.0" 200 3698 "http://МОЙСАЙТ.RU/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; Win 9x 4.90)"
95.79.73.248 - - [17/Apr/2012:23:41:18 +0400] "GET / HTTP/1.0" 200 3657 "http://МОЙСАЙТ.RU/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; Win 9x 4.90)"
Опять нечисть.
195.239.178.205 - - [18/Apr/2012:03:43:41 +0400] "GET / HTTP/1.0" 200 3571 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
Ну-ну... 🍿
71.5.110.140 - - [18/Apr/2012:07:59:33 +0400] "HEAD / HTTP/1.1" 200 0 "-" "Jakarta Commons-HttpClient/3.1"
Бот непонятного назначения.
95.79.73.248 - - [18/Apr/2012:10:42:17 +0400] "GET /forum/ HTTP/1.0" 404 280 "http://МОЙСАЙТ.RU/forum/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; Win 9x 4.90)"
Уже заходил. Хочет найти форум, видимо, спамбот.
77.88.27.27 - - [18/Apr/2012:15:43:06 +0400] "GET / HTTP/1.1" 200 1709 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
77.88.27.27 - - [18/Apr/2012:15:48:13 +0400] "GET /страница-1.html HTTP/1.1" 200 2154 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
77.88.27.27 - - [18/Apr/2012:16:12:01 +0400] "GET / HTTP/1.1" 200 1705 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
217.69.133.29 - - [18/Apr/2012:17:54:31 +0400] "GET / HTTP/1.0" 200 3564 "-" "Mozilla/5.0 (compatible; Mail.RU/2.0)"
Зашевелились, но роботс никого не интересует.
77.88.27.27 - - [19/Apr/2012:01:59:25 +0400] "GET /.html HTTP/1.1" 403 143 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
Опа, теперь Яндекс повторяет гуглбота. Фантазеры :)
195.239.178.205 - - [19/Apr/2012:03:44:51 +0400] "GET / HTTP/1.0" 200 3426 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
Дятел-Нигма долбится на главную.
83.139.134.17 - - [19/Apr/2012:18:05:27 +0400] "GET / HTTP/1.1" 200 3752 "-" "Mozilla/3.6 (compatible; MSIE 7.0; Windows NT 6.1; en-US; rv:1.9.2.16) Gecko/20110319 MRA 5.6 (build 03278) Firefox/3.6.16"
83.139.134.17 - - [19/Apr/2012:18:05:27 +0400] "HEAD /wp-includes/js/prototype.js HTTP/1.1" 404 0 "-" "Mozilla/3.6 (compatible; MSIE 7.0; Windows NT 6.1; en-US; rv:1.9.2.16) Gecko/20110319 MRA 5.6 (build 03278) Firefox/3.6.16"
83.139.134.17 - - [19/Apr/2012:18:05:27 +0400] "HEAD /blog/wp-includes/js/prototype.js HTTP/1.1" 404 0 "-" "Mozilla/3.6 (compatible; MSIE 7.0; Windows NT 6.1; en-US; rv:1.9.2.16) Gecko/20110319 MRA 5.6 (build 03278) Firefox/3.6.16"
83.139.134.17 - - [19/Apr/2012:18:05:27 +0400] "GET /components/com_content/content.php HTTP/1.1" 404 308 "-" "Mozilla/3.6 (compatible; MSIE 7.0; Windows NT 6.1; en-US; rv:1.9.2.16) Gecko/20110319 MRA 5.6 (build 03278) Firefox/3.6.16"
Червячок из Воронежа, проверяет наличие дырявых Вордпресса или Джумлы.
77.88.27.27 - - [20/Apr/2012:02:41:20 +0400] "GET / HTTP/1.1" 200 1774 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
Эта HTML-версия документа сейчас в индексе у Яндекса.
195.239.178.205 - - [20/Apr/2012:03:43:41 +0400] "GET / HTTP/1.0" 200 3771 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
Эту бы энергию, да в правильное русло.
78.24.223.89 - - [20/Apr/2012:04:00:19 +0400] "GET /administrator/index.php HTTP/1.1" 404 245 "-" "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"
Червь с j-dev.ru хочет видеть Джумлу
217.69.133.29 - - [20/Apr/2012:07:52:46 +0400] "GET / HTTP/1.0" 200 3655 "-" "Mozilla/5.0 (compatible; Mail.RU/2.0)"
66.249.66.15 - - [20/Apr/2012:12:01:52 +0400] "GET / HTTP/1.1" 200 5090 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
136.169.10.10 - - [20/Apr/2012:15:29:22 +0400] "GET / HTTP/1.1" 200 3697 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.5) Gecko/2008120122 Firefox/3.0.5"
136.169.10.10 - - [20/Apr/2012:15:29:22 +0400] "GET /sitemap.xml HTTP/1.1" 404 285 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.5) Gecko/2008120122 Firefox/3.0.5"
Бот с Латвийским IP (Может от Майла проверка на клоакинг)
217.69.133.29 - - [20/Apr/2012:18:23:35 +0400] "GET /sitemap.xml HTTP/1.0" 404 285 "-" "Mozilla/5.0 (compatible; Mail.RU/2.0)"
Майл второй раз хочет увидеть карту.
66.249.67.118 - - [20/Apr/2012:19:49:41 +0400] "GET / HTTP/1.1" 200 5090 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.72.207 - - [21/Apr/2012:02:09:15 +0400] "GET /страница-2.html HTTP/1.1" 200 1983 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
72.14.199.248 - - [21/Apr/2012:02:09:16 +0400] "GET /страница-2.html HTTP/1.1" 200 1983 "-" "Mozilla/5.0 (compatible) Feedfetcher-Google;(+http://www.google.com/feedfetcher.html)"
Вызываем Гугл. Он опять на пост в friendfeed.com реагирует мгновеннно ;)
75.101.147.15 - - [21/Apr/2012:02:10:15 +0400] "HEAD /страница-2.html HTTP/1.1" 200 0 "-" "Firefox"
Уже приходило с friendfeed.com в прошлый раз.
195.239.178.205 - - [21/Apr/2012:03:44:27 +0400] "GET / HTTP/1.0" 200 3852 "-" "Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)"
Беру свои слова обратно на счет поисковика. Он просто завис и нуждается в перезагрузке. 😂
66.249.72.207 - - [21/Apr/2012:06:26:11 +0400] "GET / HTTP/1.1" 200 1824 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.72.207 - - [21/Apr/2012:06:28:58 +0400] "GET /страница-1.html HTTP/1.1" 200 2394 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.72.237 - - [21/Apr/2012:06:56:50 +0400] "GET / HTTP/1.1" 200 5090 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
204.236.235.245 - - [21/Apr/2012:07:05:31 +0400] "GET / HTTP/1.0" 200 3800 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
Тут все понятно.
31.148.214.230 - - [21/Apr/2012:12:18:26 +0400] "GET / HTTP/1.1" 200 3685 "" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2.10) Gecko/20100914 Firefox/3.6.10 (.NET CLR 3.5.30729)"
Анонимный бот неясной ориентации.
95.25.225.254 - - [21/Apr/2012:15:45:21 +0400] "GET / HTTP/1.1" 200 1729 "http://yandex.ru/yandsearch?text=предложение+с+моего+сайта+состоит+из+8+слов&lr=213" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; InfoPath.1; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"
95.25.225.254 - - [21/Apr/2012:15:48:33 +0400] "GET / HTTP/1.0" 200 3991 "http://yandex.ru/yandsearch?text=предложение+с+моего+сайта+состоит+из+8+слов" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.2)"
А вот здесь самое интересное. (Причина сего опуса)

ВНИМАНИЕ ВОПРОС: Кто может прийти с Яндекса, введя первое предложение после заголовка, с проиндексированной главной страницы?

1) Предложение из 8 слов и встречается только там

2) На сайт еще не ступала нога человека.

3) IP-адрес Кобрины.

Занавес.

З.Ы. Предлагаю здесь выкладывать, логи сайтов которые входят в индекс и любую другую подозрительную активность ботов, особенно Яндекса и Гугла, для совместного обсуждения.

==================================================

Буду рад, если кому-то мои наблюдения окажутся полезными. ;)

The WishMaster
На сайте с 29.09.2005
Offline
2542
#2

Тебе на форум "Что Где Когда"...

Кому старенького креативного копирайтера? Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
[Удален]
#3

The WishMaster, да, наверно, заблудился :) Хотя это больше риторический вопрос. Но надеюсь, на то, что у сообщества будут интересные мысли на этот счет.

Devvver
На сайте с 02.07.2008
Offline
691
#4
madwat:
Кто может прийти с Яндекса, введя первое предложение после заголовка, с проиндексированной главной страницы?
madwat:
3) IP-адрес Кобрины.

Яндекса сетка, проверка или на вирусы или клоакинг. ЛИ уже давно говорил, что у них там целый ботнет

Мой блог. Все о создании сайтов,Seo и СДЛ ( https://e-moldovanu.com/ ) Мой SEO телеграм канал https://t.me/seobloggers
[Удален]
#5

Devvver, почти в этом уверен. Уже с подобным сталкивался, у меня сайты улетали в бан. Перед этим, с IP кобрины по поисковым запросам с Яндекса шел аномальный трафик.

The WishMaster
На сайте с 29.09.2005
Offline
2542
#6

Это была шутка :D

[Удален]
#7

The WishMaster, быть может, но мне сложно найти другое объяснение :)

юни
На сайте с 01.11.2005
Offline
933
#8

madwat, батенька, дотошней надо быть.

The Tweeted Times - это и есть Яндекс.

P.S. Вот так вот, после рутинной (и ничего сенсационного не обещающей) проверки логов - внезапно всплывают интересные детальки. Посмотрим далее, кто там ещё заходил...

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
S
На сайте с 28.10.2005
Offline
319
#9

> Опа, теперь Яндекс повторяет гуглбота. Фантазеры

Полюбому на сайте косяк, не может быть таких совпадений, или домен не нулевой, или ссылка криво запостилась

юни
На сайте с 01.11.2005
Offline
933
#10

Остальные вроде не интересны (хостинги и какие-то залётные регионалы).

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий