Замечательно! Начинаю в "шашечки" играть, авось вернутся мои два десятка доров.
Логин: shmaser
Жду оплату заявок.
Sergi0k, спасибо, взял на заметку, если предыдущие меры не помогут, буду пробовать этот. Кстати, сам такой хтассес не перегрузит апач?
Dimka, это небольшая часть лога, вообще этот бот слал запросы каждую секунду с разных IP.
Кстате, чуть не забыл, а ето че за зверь,
тоже грузил по несколько запросов в секунду
plattoo, Спасибо, есть еще добрые люди. Вот я лоханулся, никогда с этим хтассесом не дружил.
Вот я как чувствовал, что что-то не хватает. Что должно быть то? Наверно это
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:34:58 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.053
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:00 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.051
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:01 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.052
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:02 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.050
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:03 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.049
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:05 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.052
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:06 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.050
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:08 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.051
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:09 +0300] "GET /stil/stilnye-muzhskie-kurtki HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.050
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:11 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.050
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:12 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.050
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:13 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.050
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:15 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.051
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:16 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.052
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:17 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.050
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:19 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.053
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:20 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.050
сайт.ru 5.9.151.22 - - [16/Aug/2016:08:35:21 +0300] "GET / HTTP/1.0" 301 177 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)" 0.052---------- Добавлено 16.08.2016 в 14:22 ----------
RewriteRule ^sitemap\.xml$ index.php?sitemap=main
RewriteRule ^sitemap_(\d+?)\.xml$ index.php?sitemap=$1
RewriteRule ^sitemap\.html$ index.php?htmlmap=main
RewriteRule ^sitemap_(\d+?)\.html$ index.php?htmlmap=$1
RewriteRule ^product/([^/]*)\/([^/]*)\/?$ index.php?iframe_url=$1&iframe_title=$2
RewriteRule ^([^/]+)\/page/(\d+)$ index.php?q=$1&page=$2
RewriteRule ^([^/]+)\/research$ index.php?q=$1&research=1
RewriteRule ^([^/]+)\/$ index.php?q=$1
Мне кажется, что этим гадам пофиг роботс.тхт
Может неправильно записано, проверьте, кто понимает
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
примерно 20 в месяц, сейчас 80 рабочих, около 20 в бане Гоши, некоторые из них Яшка подхватил. Я по 1000шт. делать не умею, решил таким способом пойти. Медленно, но уверенно. Денежка помаленьку капает, звезд с неба не хватаю.
Кликаешь на бэк, если пага открывается и не заспамлена, беру даже с одной этой ссылкой. Мне один раз попался с дроп с одной ссылкой с какого-то крутого рейтинга, траф так ломанулся, что Гоша его моментом подкосил.
Какой смысл не знаю, попробовал - получилось. Опыт - критерий истины.
sidorka, сколько раз такое переживал. Бросал на пару дней. Хорошенько все обмозговал и начал по-новой. Возьми дропов с одним двумя действующими бэками, только не переспамленные (я руками отбирал), используй дорген с динамикой, чтобы паги генерились по мере захода ботов, слив сразу не ставь, я ставлю когда есть 20-30 хитов. Напарсь картинок, текста - сунь всё на сервер и макросами тяни картинки вперемежку со строчками и пару раз кей, вставь видео. У меня опыта маловато, но вот с зимы такие доры живут. Почти все накрыты фреймами. Последний раз Гоша надругался где-то месяца 3 назад, так там дропы были толи сильно жирные, толи хз, короч траф как попер, автоматом сработал фильтр, т.к. хиты/просмотры были хреновые 1,2. У меня сейчас 1,9-2,0 таки один дроп выжил. Гоша его из индекса не выбил, а траф обнулил. Дней через 10 траф возобновился, щас гдето 150-170 хитов дейли. Успехов.
