Не стал читать всю тему, просто решил помочь тем, кто не желает, чтобы его сайт скачали ЦЕЛИКОМ (речь не идет о том, когда вас парсят выборочно, например, только статьи или только rss-канал).
Как можно от этого уберечься? Тут есть несколько решений, как заблокировать ботов распространенных программ для полного выкачивания файлов.
Вот пример хорошо составленного robots.txt, который, помимо копировальных ботов, содержит ещё и блокировку западных ботов (актуально, если у вас русскоязычный сайт с большим кол-вом страниц, во избижание перегрузок), а также разнообразных сборщиков е-мейлов и пр.:
User-agent: Yandex
Allow: /
User-agent: gigabot
Disallow: /
User-agent: Gigabot/2.0
Disallow: /
User-agent: msnbot
Disallow: /
User-agent: msnbot/1.0
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: libwww-perl
Disallow: /
User-agent: NetStat.Ru Agent
Disallow: /
User-agent: WebAlta Crawler/1.3.25
Disallow: /
User-agent: Yahoo!-MMCrawler/3.x
Disallow: /
User-agent: MMCrawler/3.x
Disallow: /
User-agent: NG/2.0
Disallow: /
User-agent: slurp
Disallow: /
User-agent: aipbot
Disallow: /
User-agent: Alexibot
Disallow: /
User-agent: GameSpyHTTP/1.0
Disallow: /
User-agent: Aqua_Products
Disallow: /
User-agent: asterias
Disallow: /
User-agent: b2w/0.1
Disallow: /
User-agent: BackDoorBot/1.0
Disallow: /
User-agent: becomebot
Disallow: /
User-agent: BlowFish/1.0
Disallow: /
User-agent: Bookmark search tool
Disallow: /
User-agent: BotALot
Disallow: /
User-agent: BotRightHere
Disallow: /
User-agent: BuiltBotTough
Disallow: /
User-agent: Bullseye/1.0
Disallow: /
User-agent: BunnySlippers
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: CherryPickerElite/1.0
Disallow: /
User-agent: CherryPickerSE/1.0
Disallow: /
User-agent: Copernic
Disallow: /
User-agent: CopyRightCheck
Disallow: /
User-agent: cosmos
Disallow: /
User-agent: Crescent
Disallow: /
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /
User-agent: DittoSpyder
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: EmailWolf
Disallow: /
User-agent: EroCrawler
Disallow: /
User-agent: ExtractorPro
Disallow: /
User-agent: FairAd Client
Disallow: /
User-agent: Fasterfox
Disallow: /
User-agent: Flaming AttackBot
Disallow: /
User-agent: Foobot
Disallow: /
User-agent: Gaisbot
Disallow: /
User-agent: GetRight/4.2
Disallow: /
User-agent: Harvest/1.5
Disallow: /
User-agent: hloader
Disallow: /
User-agent: httplib
Disallow: /
User-agent: HTTrack 3.0
Disallow: /
User-agent: humanlinks
Disallow: /
User-agent: IconSurf
Disallow: /
User-agent: InfoNaviRobot
Disallow: /
User-agent: Iron33/1.0.2
Disallow: /
User-agent: JennyBot
Disallow: /
User-agent: Kenjin Spider
Disallow: /
User-agent: Keyword Density/0.9
Disallow: /
User-agent: larbin
Disallow: /
User-agent: LexiBot
Disallow: /
User-agent: libWeb/clsHTTP
Disallow: /
User-agent: LinkextractorPro
Disallow: /
User-agent: LinkScan/8.1a Unix
Disallow: /
User-agent: LinkWalker
Disallow: /
User-agent: LNSpiderguy
Disallow: /
User-agent: lwp-trivial
Disallow: /
User-agent: lwp-trivial/1.34
Disallow: /
User-agent: Mata Hari
Disallow: /
User-agent: Microsoft URL Control
Disallow: /
User-agent: Microsoft URL Control - 5.01.4511
Disallow: /
User-agent: Microsoft URL Control - 6.00.8169
Disallow: /
User-agent: MIIxpc
Disallow: /
User-agent: MIIxpc/4.2
Disallow: /
User-agent: Mister PiX
Disallow: /
User-agent: moget
Disallow: /
User-agent: moget/2.1
Disallow: /
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /
Я что хочу сказать... Неделю назад хотел запостить тут тему с вопросом "что за дорген?". Вкратце - нашёл дор, все страницы которого были в топ5, дор на своём домене, пс яндекс.
Почему хотел запостить тему - дак потому, что там был не просто кей, например, "эротика с бабушками", а несколько вариаций этого кея, начиная от просто "эротика" (одно слово от 2х словного кея!), заканчивая "эротика с бабушкой" (ед. число).
YAGR: Кстати, по зомбоящику показывали чела, который спай навигатор в мобильники замутил. Может его упросить, чтобы он партнерку открыл :)
Курлович вроде его фамилия. Только непонятно, продает он свой софт или нет?
Я писал этому "челу". Он сказал, что они сотрудничают только с крупными сайтами с посещаемостью от 10.000 в сутки.
Doorway2009: Просто вот в чём проблема,на некоторых хостингах запускаеш генерацию и через пару минут дальше не генерит,время загрузки стр ограничено-дальше скрипт неможет работать :(
На некоторых хостингах есть файлик php.ini в корне. Там можно настройки индивидуально для себя поменять.
Нигма является метапоисковой системой.
Не совсем. У них свой индекс тоже есть.
чего-то не пашет у них поисковик, зато сколько отзывов в прессе :)
Сам не возьмусь, но дам совет:
Идите на те форумы, где водятся хрумоводы. Есть шанс, что среди них окажутся адекватные ребята. Тиц по-другому сейчас не наращивают. К сожалению.
Хороший поисковик. Всего 15 человек работает там, но уже много добились.
Пользоваться реально удобно.
Было дело у меня тырили контент (http://dimka.yz74.ru/2008/08/24/doctoralvik/) сейчас вроде успокоилось, но если дорвеи сейчас опять начнут жизнь, держитесь СДЛь :(
Можно будет создать блек листы по-типу RBL для почты.
При чём тут дорвеи, я понять не могу!🔥
Не стал читать всю тему, просто решил помочь тем, кто не желает, чтобы его сайт скачали ЦЕЛИКОМ (речь не идет о том, когда вас парсят выборочно, например, только статьи или только rss-канал).
Как можно от этого уберечься? Тут есть несколько решений, как заблокировать ботов распространенных программ для полного выкачивания файлов.
1. .htaccess - подробнее - http://apachedev.ru/2007/02/09/zaschita-ot-spama-v-kommentariyah-s-pomoschyu-apache
2. С помощью файла robots.txt. Например:
Если копать глубже, то вам поможет Листинг Плохих Ботов.
Вот пример хорошо составленного robots.txt, который, помимо копировальных ботов, содержит ещё и блокировку западных ботов (актуально, если у вас русскоязычный сайт с большим кол-вом страниц, во избижание перегрузок), а также разнообразных сборщиков е-мейлов и пр.:
п.с. ТС - я выборочно проверил листинг сайтов, которые вас "ограбили" - там нет ни одного дорвея. Поэтому и минусуют, наверное.
Я что хочу сказать... Неделю назад хотел запостить тут тему с вопросом "что за дорген?". Вкратце - нашёл дор, все страницы которого были в топ5, дор на своём домене, пс яндекс.
Почему хотел запостить тему - дак потому, что там был не просто кей, например, "эротика с бабушками", а несколько вариаций этого кея, начиная от просто "эротика" (одно слово от 2х словного кея!), заканчивая "эротика с бабушкой" (ед. число).
Это и есть тот самый дорген?
Совсем народ на серче с ума сошёл. Контент воруешь - тс'у говорят. Тогда Яндекс тоже контент ворует, дескрипшн каждого сайта и титл у себя вставляя?!
офтоп: Топикстартеру респект за то, что он - вольный манимейкер, а не наёмный планктон :) Я у тебя интервью возьму ;)
Кстати, по зомбоящику показывали чела, который спай навигатор в мобильники замутил. Может его упросить, чтобы он партнерку открыл :)
Курлович вроде его фамилия. Только непонятно, продает он свой софт или нет?
Я писал этому "челу". Он сказал, что они сотрудничают только с крупными сайтами с посещаемостью от 10.000 в сутки.
Просто вот в чём проблема,на некоторых хостингах запускаеш генерацию и через пару минут дальше не генерит,время загрузки стр ограничено-дальше скрипт неможет работать :(
На некоторых хостингах есть файлик php.ini в корне. Там можно настройки индивидуально для себя поменять.