Z-Style

Z-Style
Рейтинг
185
Регистрация
18.03.2010

парсил выдачу и нашел это /ru/forum/446294

но там по теме не много

если бот может маскироваться под бота Google к примеру, то запрет отдельным ботам через htacess это

не решение, разве что может подойдет такая защита от любителей..

вот еще списочек:

SetEnvIfNoCase User-Agent "^[A-Z]+$" bad_bot
SetEnvIfNoCase User-Agent "Alligator" bad_bot
SetEnvIfNoCase User-Agent "anarchie" bad_bot
SetEnvIfNoCase User-Agent "ASSORT" bad_bot
SetEnvIfNoCase User-Agent "ATHENS" bad_bot
SetEnvIfNoCase User-Agent "Atomz" bad_bot
SetEnvIfNoCase User-Agent "attache" bad_bot
SetEnvIfNoCase User-Agent "autoemailspider" bad_bot
SetEnvIfNoCase User-Agent "autohttp" bad_bot
SetEnvIfNoCase User-Agent "bew" bad_bot
SetEnvIfNoCase User-Agent "Browse\s" bad_bot
SetEnvIfNoCase User-Agent "Bullseye" bad_bot
SetEnvIfNoCase User-Agent "CherryPicker" bad_bot
SetEnvIfNoCase User-Agent "crescent" bad_bot
SetEnvIfNoCase User-Agent "curl" bad_bot
SetEnvIfNoCase User-Agent "devsoft's http component v1\.0" bad_bot
SetEnvIfNoCase User-Agent "Deweb" bad_bot
SetEnvIfNoCase User-Agent "DIIbot" bad_bot
SetEnvIfNoCase User-Agent "Digger" bad_bot
SetEnvIfNoCase User-Agent "Digimarc" bad_bot
SetEnvIfNoCase User-Agent "digout4uagent" bad_bot
SetEnvIfNoCase User-Agent "disco" bad_bot
SetEnvIfNoCase User-Agent "Download" bad_bot
SetEnvIfNoCase User-Agent "Download\ Demon" bad_bot
SetEnvIfNoCase User-Agent "Download\ Express" bad_bot
SetEnvIfNoCase User-Agent "Download\ Wonder" bad_bot
SetEnvIfNoCase User-Agent "DSurf" bad_bot
SetEnvIfNoCase User-Agent "DreamPassport" bad_bot
SetEnvIfNoCase User-Agent "DnloadMage" bad_bot
SetEnvIfNoCase User-Agent "DTS Agent" bad_bot
SetEnvIfNoCase User-Agent "EasyDL" bad_bot
SetEnvIfNoCase User-Agent "Email\ Extractor" bad_bot
SetEnvIfNoCase User-Agent "eCatch" bad_bot
SetEnvIfNoCase User-Agent "EBrowse" bad_bot
SetEnvIfNoCase User-Agent "ecollector" bad_bot
SetEnvIfNoCase User-Agent "efp@gmx.net" bad_bot
SetEnvIfNoCase User-Agent "ESurf" bad_bot
SetEnvIfNoCase User-Agent "EmailCollector" bad_bot
SetEnvIfNoCase User-Agent "EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "EO Browse" bad_bot
SetEnvIfNoCase User-Agent "express" bad_bot
SetEnvIfNoCase User-Agent "extractor" bad_bot
SetEnvIfNoCase User-Agent "ExtractorPro" bad_bot
SetEnvIfNoCase User-Agent "Eval" bad_bot
SetEnvIfNoCase User-Agent "fastlwspider" bad_bot
SetEnvIfNoCase User-Agent "Fetch" bad_bot
SetEnvIfNoCase User-Agent "FEZhead" bad_bot
SetEnvIfNoCase User-Agent "FileHound" bad_bot
SetEnvIfNoCase User-Agent "FileHeap!\ file downloader" bad_bot
SetEnvIfNoCase User-Agent "findlinks" bad_bot
SetEnvIfNoCase User-Agent "flashget" bad_bot
SetEnvIfNoCase User-Agent "FlickBot" bad_bot
SetEnvIfNoCase User-Agent "FrontPage" bad_bot
SetEnvIfNoCase User-Agent "Franklin\ Locator" bad_bot
SetEnvIfNoCase User-Agent "FreshDownload" bad_bot
SetEnvIfNoCase User-Agent "FrontPage" bad_bot
SetEnvIfNoCase User-Agent "FSurf" bad_bot
SetEnvIfNoCase User-Agent "Gamespy_Arcade" bad_bot
SetEnvIfNoCase User-Agent "GetBot" bad_bot
SetEnvIfNoCase User-Agent "Getleft" bad_bot
SetEnvIfNoCase User-Agent "GetRight" bad_bot
SetEnvIfNoCase User-Agent "GetURL" bad_bot
SetEnvIfNoCase User-Agent "GetWebPage" bad_bot
SetEnvIfNoCase User-Agent "Go!Zilla" bad_bot
SetEnvIfNoCase User-Agent "Go-Ahead-Got-It" bad_bot
SetEnvIfNoCase User-Agent "grabber" bad_bot
SetEnvIfNoCase User-Agent "Harvest" bad_bot
SetEnvIfNoCase User-Agent "HLoader" bad_bot
SetEnvIfNoCase User-Agent "HTTrack" bad_bot
SetEnvIfNoCase User-Agent "ia_archiver" bad_bot
SetEnvIfNoCase User-Agent "IBM_Planetwide" bad_bot
SetEnvIfNoCase User-Agent "iGetter" bad_bot
SetEnvIfNoCase User-Agent "imagefetch" bad_bot
SetEnvIfNoCase User-Agent "IncyWincy" bad_bot
SetEnvIfNoCase User-Agent "Industry\ Program" bad_bot
SetEnvIfNoCase User-Agent "Indy\ Library" bad_bot
SetEnvIfNoCase User-Agent "InstallShield\ DigitalWizard" bad_bot
SetEnvIfNoCase User-Agent "Internet Explore 5.x" bad_bot
SetEnvIfNoCase User-Agent "IUPUI\ Research\ Bot" bad_bot
SetEnvIfNoCase User-Agent "JoBo" bad_bot
SetEnvIfNoCase User-Agent "JOC\ Web\ Spider" bad_bot
SetEnvIfNoCase User-Agent "Kapere" bad_bot
SetEnvIfNoCase User-Agent "KWebGet" bad_bot
SetEnvIfNoCase User-Agent "Larbin" bad_bot
SetEnvIfNoCase User-Agent "leech" bad_bot
SetEnvIfNoCase User-Agent "LeechGet" bad_bot
SetEnvIfNoCase User-Agent "libwww-perl" bad_bot
SetEnvIfNoCase User-Agent "LightningDownload" bad_bot
SetEnvIfNoCase User-Agent "LINKS ARoMATIZED" bad_bot
SetEnvIfNoCase User-Agent "^LWP" bad_bot
SetEnvIfNoCase User-Agent "Mac\ Finder" bad_bot
SetEnvIfNoCase User-Agent "Mail\ Sweeper" bad_bot
SetEnvIfNoCase User-Agent "Mass\ Downloader" bad_bot
SetEnvIfNoCase User-Agent "MCspider" bad_bot
SetEnvIfNoCase User-Agent "MetaProducts\ Download\ Express" bad_bot
SetEnvIfNoCase User-Agent "Microsoft\ URL\ Control" bad_bot
SetEnvIfNoCase User-Agent "Mirror" bad_bot
SetEnvIfNoCase User-Agent "Missauga\ Locate" bad_bot
SetEnvIfNoCase User-Agent "Missauga\ Locator" bad_bot
SetEnvIfNoCase User-Agent "Missouri\ College\ Browse" bad_bot
SetEnvIfNoCase User-Agent "Mister\ PiX" bad_bot
SetEnvIfNoCase User-Agent "Monster" bad_bot
SetEnvIfNoCase User-Agent "MovableType" bad_bot
SetEnvIfNoCase User-Agent "Mozi!" bad_bot
SetEnvIfNoCase User-Agent "MSIECrawler" bad_bot
SetEnvIfNoCase User-Agent "MyGetRight" bad_bot
SetEnvIfNoCase User-Agent "Net.Vampire" bad_bot
SetEnvIfNoCase User-Agent "NetAnts" bad_bot
SetEnvIfNoCase User-Agent "netattache" bad_bot
SetEnvIfNoCase User-Agent "NetCarta" bad_bot
SetEnvIfNoCase User-Agent "NEWT\ ActiveX" bad_bot
SetEnvIfNoCase User-Agent "^NG" bad_bot
SetEnvIfNoCase User-Agent "NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "Nitro\ Downloader" bad_bot
SetEnvIfNoCase User-Agent "ninja" bad_bot
SetEnvIfNoCase User-Agent "NPBot" bad_bot
SetEnvIfNoCase User-Agent "Nutch" bad_bot
SetEnvIfNoCase User-Agent "Offline\ Explorer" bad_bot
SetEnvIfNoCase User-Agent "OpaL" bad_bot
SetEnvIfNoCase User-Agent "Openfind" bad_bot
SetEnvIfNoCase User-Agent "OpenTextSiteCrawler" bad_bot
SetEnvIfNoCase User-Agent "PackRat" bad_bot
SetEnvIfNoCase User-Agent "PagmIEDownload" bad_bot
SetEnvIfNoCase User-Agent "pavuk" bad_bot
SetEnvIfNoCase User-Agent "PersonaPilot" bad_bot
SetEnvIfNoCase User-Agent "Plucker" bad_bot
SetEnvIfNoCase User-Agent "Program\ Shareware" bad_bot
SetEnvIfNoCase User-Agent "Progressive Download" bad_bot
SetEnvIfNoCase User-Agent "prospector" bad_bot
SetEnvIfNoCase User-Agent "puf" bad_bot
SetEnvIfNoCase User-Agent "PushSite" bad_bot
SetEnvIfNoCase User-Agent "PuxaRapido" bad_bot
SetEnvIfNoCase User-Agent "Python-urllib" bad_bot
SetEnvIfNoCase User-Agent "RealDownload" bad_bot
SetEnvIfNoCase User-Agent "reget" bad_bot
SetEnvIfNoCase User-Agent "RepoMonkey\ Bait\ &\ Tackle" bad_bot
SetEnvIfNoCase User-Agent "Rover" bad_bot
SetEnvIfNoCase User-Agent "Rsync" bad_bot
SetEnvIfNoCase User-Agent "RufusBot" bad_bot
SetEnvIfNoCase User-Agent "ScoutAbout" bad_bot
SetEnvIfNoCase User-Agent "searchterms\.it" bad_bot
SetEnvIfNoCase User-Agent "Shai" bad_bot
SetEnvIfNoCase User-Agent "sitecheck" bad_bot
SetEnvIfNoCase User-Agent "SiteSnagger" bad_bot
SetEnvIfNoCase User-Agent "SmartDownload" bad_bot
SetEnvIfNoCase User-Agent "snagger" bad_bot
SetEnvIfNoCase User-Agent "SpeedDownload" bad_bot
SetEnvIfNoCase User-Agent "Spegla" bad_bot
SetEnvIfNoCase User-Agent "SpiderBot" bad_bot
SetEnvIfNoCase User-Agent "SQ\ Webscanner" bad_bot
SetEnvIfNoCase User-Agent "Sqworm" bad_bot
SetEnvIfNoCase User-Agent "Stamina" bad_bot
SetEnvIfNoCase User-Agent "Star\ Downloader" bad_bot
SetEnvIfNoCase User-Agent "SurfWalker" bad_bot
SetEnvIfNoCase User-Agent "SuperBot" bad_bot
SetEnvIfNoCase User-Agent "SurveyBot" bad_bot
SetEnvIfNoCase User-Agent "Surf" bad_bot
SetEnvIfNoCase User-Agent "tarspider" bad_bot
SetEnvIfNoCase User-Agent "Teleport" bad_bot
SetEnvIfNoCase User-Agent "Telesoft" bad_bot
SetEnvIfNoCase User-Agent "Templeton" bad_bot
SetEnvIfNoCase User-Agent "TurnitinBot" bad_bot
SetEnvIfNoCase User-Agent "UdmSearch" bad_bot
SetEnvIfNoCase User-Agent "URLGetFile" bad_bot
SetEnvIfNoCase User-Agent "UtilMind\ HTTPGet" bad_bot
SetEnvIfNoCase User-Agent "vayala" bad_bot
SetEnvIfNoCase User-Agent "w3mir" bad_bot
SetEnvIfNoCase User-Agent "web.by.mail" bad_bot
SetEnvIfNoCase User-Agent "WebAuto" bad_bot
SetEnvIfNoCase User-Agent "WebBandit" bad_bot
SetEnvIfNoCase User-Agent "WebCapture" bad_bot
SetEnvIfNoCase User-Agent "webcollage" bad_bot
SetEnvIfNoCase User-Agent "WebCopier" bad_bot
SetEnvIfNoCase User-Agent "WebCopy" bad_bot
SetEnvIfNoCase User-Agent "WebEMailExtrac" bad_bot
SetEnvIfNoCase User-Agent "WebMiner" bad_bot
SetEnvIfNoCase User-Agent "WebReaper" bad_bot
SetEnvIfNoCase User-Agent "Website\ eXtractor" bad_bot
SetEnvIfNoCase User-Agent "WebSnake" bad_bot
SetEnvIfNoCase User-Agent "WebStripper" bad_bot
SetEnvIfNoCase User-Agent "webvac" bad_bot
SetEnvIfNoCase User-Agent "webwalk" bad_bot
SetEnvIfNoCase User-Agent "WebZIP" bad_bot
SetEnvIfNoCase User-Agent "WEP\ Search\ 00" bad_bot
SetEnvIfNoCase User-Agent "Wget" bad_bot
SetEnvIfNoCase User-Agent "WhosTalking" bad_bot
SetEnvIfNoCase User-Agent "Wildsoft\ Surfer" bad_bot
SetEnvIfNoCase User-Agent "WUMPUS" bad_bot
SetEnvIfNoCase User-Agent "www\.pl" bad_bot
SetEnvIfNoCase User-Agent "WWWOFFLE" bad_bot
SetEnvIfNoCase User-Agent "Xaldon\ WebSpider" bad_bot
SetEnvIfNoCase User-Agent "XGET" bad_bot
SetEnvIfNoCase User-Agent "ZBot" bad_bot
SetEnvIfNoCase User-Agent "Zeus" bad_bot

но что то мне лично не очень хочется столько пихать в htaccess...

mastersx:

Помогите, пожалуйста, разобраться.
.

Для такого проекта не грех будет нанять оптимизатора.

skAmZ:
Z-Style, сообщение расположенное над вашим, отвечает на Ваш вопрос)

ну "локальные черные списки" это хорошо но немного не то (в этом случае прийдется самому вносить сайты в список на которых уже размещена ссылка) хотя на крайняк подойдет, как говорится "как мед так и ложкой" :)

Спасибо.

Решил попробовать GoGetLinks и GetGoodLinks, очень сильно удивило что нет в фильтре опции не искать площадки на которых уже размещались ссылки, к примеру как это реализовано в Sape. Не планируется ли такое введение?

Shapranov Pavel:
А вот это зачем сделали?

Я вам говорю, что 301 редирект не может стать причиной бана, и уж тем более не нужно ставить никакие исключения на robots.txt. А вы при переезде все время что-то менять туда-сюда, т.к. не могли дождаться склейки. Отсюда и такой печальный результат.

С чего вы взяли что туда сюда? Создал копию, поставил редирект, в течении недели перебросил несколько ссылок. Google конечно здесь не в тему но делалось это согласно его рекомендаций. Я в курсе что для Яндекса нужно делать иначе, но не было выбора.

Да, новый.

Правильно поняли.

Не понял в чем у вас остается вопрос. Найдите через поиск инструкцию по "правильному" для Я/Г переезду через дерективу Host и манипуляций с robots.txt

Sower:
Зловредные боты несут не только нагрузку на сервер, сжирают трафик, спамят, но и воруют контент с сайтов, чтоб набить им свои доры. Банить таких ботов нужно, но не всегда удаётся. Например очень распространённый злой бот представляется как "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" и использует прокси сервера. Как его забанить?

Сегодня соберу информацию по управлению доступом ботам, выложу сюда, обсудим.

Shapranov Pavel:
Чушь, это не могло стать причиной бана.

Если под баном подразумевался вылет сайта из индекса, то то же самое произошло у меня, сайт на новом домене попал в индекс, где то 20%, а потом абсолютно полностью вылетел из индекса. От сайта на старом домене в индексе осталось 80% страниц, морды в индексе тоже нет. Все так и замерло в такой несуразной позе. С начала переезда (редирект 301) прошла неделя, новый домен в панеле вебмастера все еще в статусе "не проиндексирован". Половину жирных покупных ссылок пока перебросил на новый домен (7 шт.)

Отписался Платон, говорит ждите будет в индексе. Еще посоветовал не использовать 301 редирект а использовать всем известную директиву.

infin1ty:
Я имею. Поставил 301 редирект и сайт был забанен. Выводил потом 3 месяца новый доменчик.
Robots.txt, потом только редирект ставьте, или в редирект допишите исключение на роботс. Я так делал, но не факт что это эфективно.

А как вы его выводили? Вы ссылочное имеете в виду?

mill.millioner:
интересно, как поисковые системы к таким попандерам относятся

Яндекс негативно, о чем он сам сказал, а Google не известно.

Z-Style добавил 07.11.2010 в 19:24

R34-zevs:
Разве реально такое получается? А из-за чего такой разброс цен?

разная стоимость кликов в зависимости от аукциона реламодателей и цели на геотаргетинг.

Z-Style добавил 07.11.2010 в 19:26

mill.millioner:

Сегодня мне попались довольно крупные сайты с посещаемостью более 20000 на которых находятся объявления гугл совместно с данным попандером. это риск? или возможно такое совмещение?

это однозначно риск

Всего: 1902