ivanko44

Рейтинг
3
Регистрация
06.11.2024
Пришел иск на фото от секты "Восьмая заповедь" что делать?
Slav_on #:
Увы, но здесь Вы не правы. Владельцы ИИ уже судятся с ресурсами за использование результатов своих систем без указания ссылки какой ИИ это сгенерировал. Видимо некоторые люди так привыкли красть чужой труд не указывая кем он был создан что не могут понять в чём их беда.

Любите вы нагонять копоти. 

Сделайте публичное соглашение на вашем ресурсе и подкиньте всплывашку при заходе, мол - согласен с соглашением. 

В нем четко пропишите все юридические моменты по ресурсу и добавьте пункт о соблюдении авторских прав, в который включите пункт о возможности досудебного обращения по поводу случайного нарушения оных по причине того, что не все объекты авторского права возможно проверить технически.   Все.  Если к вам не обратились с досудебкой, все суды отклонят иск, так как истец не пожелал урегулировать конфликт в досудебной форме.  А если не отклонят - нарушат свой же закон и в суде высшей инстанции решение будет отменено автоматом.   Не забудьте, что досудебная форма обращения должна быть составлена по всем юридическим нормам...

Письмо счастья от РСЯ - дополнительные 3% налога
MisterLogin #:

У меня почему-то в кабинете ЕРИР и на Госулугах суммы отличаются. В госуслугах счёт пришёл больше на 21 рубль. У всех так?

В прошлые 2 раза сумма была одинаковая

Тоже отличается - забил.  Оплачиваю сколько на ГУ в уведомлении пришло и все. 
Как я повысил доход в РСЯ на 112%
TonyBlackberry #:
Вы написали
а этот код действителен только для robots.txt
Это можно считать просто куском автоматически сформированного txt ... каждая ситуация разбирается уже ручками и принимаются решения на месте.   
Как я повысил доход в РСЯ на 112%
Volovikov #:
Через пару месяцев список будет длиннее... И так до бесконечности.

Понятно, но надо бороться.  Обратил внимание на юзерагенты HeadlessChrome и HeyTap, в дни когда они массово валят с отказами ближе к 100% идет просадка по доходу.  Залочил - все вернулось в норму.  В основном идут с Cox Communications...   

Они мне load average до 38 в пике поднимали в течение пары часов, сервант чуть не упал, но выдержал...  каждое новое соединение - новый ip четко по списку...  их там море.  Заходят 300-2000 в секунду.   На обычном хостинге сайт упадет за 5 секунд. 


chinafull #:
Конфиги - ИИ, посты - ИИ... А кто-то ведь всерьез все это воспринимает и, наверняка, пытается реализовать 😀

Паранойя - современный бич поколения Z в интрернетах.  

Как я повысил доход в РСЯ на 112%
TonyBlackberry #:
запрещать надо не в robots, а через .htaccess или настройки сервера, так как robots - это лишь рекомендация, а не реальный запрет.

Ну я же так и сказал или забыл? Используйте на свое усмотрение.... 

.htaccess  - это для не серьезных наплывов, он жрет ресурсы... но в большинстве случаев поможет конечно. 

Учитесь работать с iptables и более глубокими настройками сервера...   robots хорош для отсева плохой/хороший бот..  Хороший понюхает и отойдет.  То есть учитесь работать и с логами и конфигами сервера.

Telegram официально замедлили
Slav_on #:
Не вернётся, форумы окончательно подохли лет десять назад.

Миф. Профильные тематические форумы снимают сливки, там все активные собираются из-за как раз всего происходящего.   Отток профессионалов из социальных сетей активный, но не все конечно по форумам разбрелись, многие свои мелкие каналы открыли и тусят клубами по интересам. В социалках уже давно нет профи...  разве что мастера бровей и ногтей 🤣 

Как я повысил доход в РСЯ на 112%

Могу поделиться еще списочком, он у меня из логов автоматом пишется... в robots мало спасает, но юзерагентов надо понимать в литЦо.. 


# Запрет для рекламных и SEO-ботов
User-agent: AdsBot
Disallow: /

User-agent: semrushbot
Disallow: /

User-agent: Amazonbot
Disallow: /

# Массовый запрет для спам-ботов и сканеров
User-agent: 360Spider
Disallow: /

User-agent: 404checker
Disallow: /

User-agent: 404enemy
Disallow: /

User-agent: 80legs
Disallow: /

User-agent: Abonti
Disallow: /

User-agent: Acunetix
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: coccocbot-web
Disallow: /

User-agent: Dotbot
Disallow: /

User-agent: Ezooms
Disallow: /

User-agent: Exabot
Disallow: /

User-agent: facebookscraper
Disallow: /

User-agent: Gigabot
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: Jyxobot
Disallow: /

User-agent: linkdexbot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: Nimbostratus
Disallow: /


User-agent: OpenAI-Assistant
Disallow: /

User-agent: Petalbot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: SISTRIX
Disallow: /

User-agent: sitechecker.pro
Disallow: /

User-agent: SMTBot
Disallow: /

User-agent: Spbot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: ZoominfoBot
Disallow: /

User-agent: 01h4x.com
Disallow:/
User-agent: 360Spider
Disallow:/
User-agent: 404checker
Disallow:/
User-agent: 404enemy
Disallow:/
User-agent: 80legs
Disallow:/
User-agent: ADmantX
Disallow:/
User-agent: AIBOT
Disallow:/
User-agent: ALittle Client
Disallow:/
User-agent: ASPSeek
Disallow:/
User-agent: Abonti
Disallow:/
User-agent: Aboundex
Disallow:/
User-agent: Aboundexbot
Disallow:/
User-agent: Acunetix
Disallow:/
User-agent: AdsTxtCrawlerTP
Disallow:/
User-agent: AfD-Verbotsverfahren
Disallow:/
User-agent: AhrefsBot
Disallow:/
User-agent: Ai2Bot
Disallow:/
User-agent: AiHitBot
Disallow:/
User-agent: Aipbot
Disallow:/
User-agent: Alexibot
Disallow:/
User-agent: Aliyun
Disallow:/
User-agent: AliyunSecBot
Disallow:/
User-agent: AllSubmitter
Disallow:/
User-agent: Alligator
Disallow:/
User-agent: AlphaBot
Disallow:/
User-agent: Anarchie
Disallow:/
User-agent: Anarchy
Disallow:/
User-agent: Anarchy99
Disallow:/
User-agent: Ankit
Disallow:/
User-agent: Anthill
Disallow:/
User-agent: Apexoo
Disallow:/
User-agent: Aspiegel
Disallow:/
User-agent: Asterias
Disallow:/
User-agent: Atomseobot
Disallow:/
User-agent: Attach
Disallow:/
User-agent: AwarioBot
Disallow:/
User-agent: AwarioRssBot
Disallow:/
User-agent: AwarioSmartBot
Disallow:/
User-agent: BBBike
Disallow:/
User-agent: BDCbot
Disallow:/
User-agent: BDFetch
Disallow:/
User-agent: BLEXBot
Disallow:/
User-agent: BackDoorBot
Disallow:/
User-agent: BackStreet
Disallow:/
User-agent: BackWeb
Disallow:/
User-agent: Backlink-Ceck
Disallow:/
User-agent: BacklinkCrawler
Disallow:/
User-agent: BacklinksExtendedBot
Disallow:/
User-agent: Badass
Disallow:/
User-agent: Bandit
Disallow:/
User-agent: Barkrowler
Disallow:/
User-agent: BatchFTP
Disallow:/
User-agent: Battleztar Bazinga
Disallow:/
User-agent: BetaBot
Disallow:/
User-agent: Bigfoot
Disallow:/
User-agent: Bitacle
Disallow:/
User-agent: Black Hole
Disallow:/
User-agent: BlackWidow
Disallow:/
User-agent: Blackboard
Disallow:/
User-agent: Blow
Disallow:/
User-agent: BlowFish
Disallow:/
User-agent: Boardreader
Disallow:/
User-agent: Bolt
Disallow:/
User-agent: BotALot
Disallow:/
User-agent: Brandprotect
Disallow:/
User-agent: Brandwatch
Disallow:/
User-agent: Buck
Disallow:/
User-agent: Buddy
Disallow:/
User-agent: BuiltBotTough
Disallow:/
User-agent: BuiltWith
Disallow:/
User-agent: Bullseye
Disallow:/
User-agent: BunnySlippers
Disallow:/
User-agent: BuzzSumo
Disallow:/
User-agent: Bytespider
Disallow:/
User-agent: CATExplorador
Disallow:/
User-agent: CCBot
Disallow:/
User-agent: CODE87
Disallow:/
User-agent: CSHttp
Disallow:/
User-agent: Calculon
Disallow:/
User-agent: CazoodleBot
Disallow:/
User-agent: Cegbfeieh
Disallow:/
User-agent: CensysInspect
Disallow:/
User-agent: ChatGPT-User
Disallow:/
User-agent: CheTeam
Disallow:/
User-agent: CheeseBot
Disallow:/
User-agent: CherryPicker
Disallow:/
User-agent: ChinaClaw
Disallow:/
User-agent: Chlooe
Disallow:/
User-agent: Citoid
Disallow:/
User-agent: Claritybot
Disallow:/
User-agent: ClaudeBot
Disallow:/
User-agent: Cliqzbot
Disallow:/
User-agent: Cloud mapping
Disallow:/
User-agent: Cocolyzebot
Disallow:/
User-agent: Cogentbot
Disallow:/
User-agent: Collector
Disallow:/
User-agent: Copier
Disallow:/
User-agent: CopyRightCheck
Disallow:/
User-agent: Copyscape
Disallow:/
User-agent: Cosmos
Disallow:/
User-agent: Craftbot
Disallow:/
User-agent: Crawling at Home Project
Disallow:/
User-agent: CrazyWebCrawler
Disallow:/
User-agent: Crescent
Disallow:/
User-agent: CrunchBot
Disallow:/
User-agent: Curious
Disallow:/
User-agent: Custo
Disallow:/
User-agent: CyotekWebCopy
Disallow:/
User-agent: DBLBot
Disallow:/
User-agent: DIIbot
Disallow:/
User-agent: DSearch
Disallow:/
User-agent: DTS Agent
Disallow:/
User-agent: DataCha0s
Disallow:/
User-agent: DatabaseDriverMysqli
Disallow:/
User-agent: Demon
Disallow:/
User-agent: Deusu
Disallow:/
User-agent: Devil
Disallow:/
User-agent: Digincore
Disallow:/
User-agent: DigitalPebble
Disallow:/
User-agent: Dirbuster
Disallow:/
User-agent: Disco
Disallow:/
User-agent: Discobot
Disallow:/
User-agent: Discoverybot
Disallow:/
User-agent: Dispatch
Disallow:/
User-agent: DittoSpyder
Disallow:/
User-agent: DnBCrawler-Analytics
Disallow:/
User-agent: DnyzBot
Disallow:/
User-agent: DomCopBot
Disallow:/
User-agent: DomainAppender
Disallow:/
User-agent: DomainCrawler
Disallow:/
User-agent: DomainSigmaCrawler
Disallow:/
User-agent: DomainStatsBot
Disallow:/
User-agent: Domains Project
Disallow:/
User-agent: Dotbot
Disallow:/
User-agent: Download Wonder
Disallow:/
User-agent: Dragonfly
Disallow:/
User-agent: Drip
Disallow:/
User-agent: ECCP/1.0
Disallow:/
User-agent: EMail Siphon
Disallow:/
User-agent: EMail Wolf
Disallow:/
User-agent: EasyDL
Disallow:/
User-agent: Ebingbong
Disallow:/
User-agent: Ecxi
Disallow:/
User-agent: EirGrabber
Disallow:/
User-agent: EroCrawler
Disallow:/
User-agent: Evil
Disallow:/
User-agent: Exabot
Disallow:/
User-agent: Express WebPictures
Disallow:/
User-agent: ExtLinksBot
Disallow:/
User-agent: Extractor
Disallow:/
User-agent: ExtractorPro
Disallow:/
User-agent: Extreme Picture Finder
Disallow:/
User-agent: EyeNetIE
Disallow:/
User-agent: Ezooms
Disallow:/
User-agent: FDM
Disallow:/
User-agent: FHscan
Disallow:/
User-agent: FacebookBot
Disallow:/
User-agent: FemtosearchBot
Disallow:/
User-agent: Fimap
Disallow:/
User-agent: Firefox/7.0
Disallow:/
User-agent: FlashGet
Disallow:/
User-agent: Flunky
Disallow:/
User-agent: Foobot
Disallow:/
User-agent: Freeuploader
Disallow:/
User-agent: FrontPage
Disallow:/
User-agent: Fuzz
Disallow:/
User-agent: FyberSpider
Disallow:/
User-agent: Fyrebot
Disallow:/
User-agent: G-i-g-a-b-o-t
Disallow:/
User-agent: GPTBot
Disallow:/
User-agent: GT::WWW
Disallow:/
User-agent: GalaxyBot
Disallow:/
User-agent: GeedoProductSearch
Disallow:/
User-agent: Genieo
Disallow:/
User-agent: GermCrawler
Disallow:/
User-agent: GetRight
Disallow:/
User-agent: GetWeb
Disallow:/
User-agent: Getintent
Disallow:/
User-agent: Gigabot
Disallow:/
User-agent: Go!Zilla
Disallow:/
User-agent: Go-Ahead-Got-It
Disallow:/
User-agent: GoZilla
Disallow:/
User-agent: Gotit
Disallow:/
User-agent: GrabNet
Disallow:/
User-agent: Grabber
Disallow:/
User-agent: Grafula
Disallow:/
User-agent: GrapeFX
Disallow:/
User-agent: GrapeshotCrawler
Disallow:/
User-agent: GridBot
Disallow:/
User-agent: HEADMasterSEO
Disallow:/
User-agent: HMView
Disallow:/
User-agent: HTMLparser
Disallow:/
User-agent: HTTP::Lite
Disallow:/
User-agent: HTTrack
Disallow:/
User-agent: Haansoft
Disallow:/
User-agent: HaosouSpider
Disallow:/
User-agent: Harvest
Disallow:/
User-agent: Havij
Disallow:/
User-agent: Heritrix
Disallow:/
User-agent: Hloader
Disallow:/
User-agent: HonoluluBot
Disallow:/
User-agent: Humanlinks
Disallow:/
User-agent: HybridBot
Disallow:/
User-agent: IDBTE4M
Disallow:/
User-agent: IDBot
Disallow:/
User-agent: IRLbot
Disallow:/
User-agent: Iblog
Disallow:/
User-agent: Id-search
Disallow:/
User-agent: IlseBot
Disallow:/
User-agent: Image Fetch
Disallow:/
User-agent: Image Sucker
Disallow:/
User-agent: ImagesiftBot
Disallow:/
User-agent: IndeedBot
Disallow:/
User-agent: Indy Library
Disallow:/
User-agent: InfoNaviRobot
Disallow:/
User-agent: InfoTekies
Disallow:/
User-agent: Information Security Team InfraSec Scanner
Disallow:/
User-agent: InfraSec Scanner
Disallow:/
User-agent: Intelliseek
Disallow:/
User-agent: InterGET
Disallow:/
User-agent: Internet Ninja
Disallow:/
User-agent: InternetMeasurement
Disallow:/
User-agent: InternetSeer
Disallow:/
User-agent: Iria
Disallow:/
User-agent: Iskanie
Disallow:/
User-agent: IstellaBot
Disallow:/
User-agent: JOC Web Spider
Disallow:/
User-agent: JamesBOT
Disallow:/
User-agent: Jbrofuzz
Disallow:/
User-agent: JennyBot
Disallow:/
User-agent: JetCar
Disallow:/
User-agent: Jetty
Disallow:/
User-agent: JikeSpider
Disallow:/
User-agent: Joomla
Disallow:/
User-agent: Jorgee
Disallow:/
User-agent: JustView
Disallow:/
User-agent: Jyxobot
Disallow:/
User-agent: Kenjin Spider
Disallow:/
User-agent: Keybot Translation-Search-Machine
Disallow:/
User-agent: Keyword Density
Disallow:/
User-agent: Kinza
Disallow:/
User-agent: Kozmosbot
Disallow:/
User-agent: LNSpiderguy
Disallow:/
User-agent: LWP::Simple
Disallow:/
User-agent: Lanshanbot
Disallow:/
User-agent: Larbin
Disallow:/
User-agent: Leap
Disallow:/
User-agent: LeechFTP
Disallow:/
User-agent: LeechGet
Disallow:/
User-agent: LexiBot
Disallow:/
User-agent: Lftp
Disallow:/
User-agent: LibWeb
Disallow:/
User-agent: Libwhisker
Disallow:/
User-agent: LieBaoFast
Disallow:/
User-agent: Lightspeedsystems
Disallow:/
User-agent: Likse
Disallow:/
User-agent: LinkScan
Disallow:/
User-agent: LinkWalker
Disallow:/
User-agent: Linkbot
Disallow:/
User-agent: LinkextractorPro
Disallow:/
User-agent: LinkpadBot
Disallow:/
User-agent: LinksManager
Disallow:/
User-agent: LinqiaMetadataDownloaderBot
Disallow:/
User-agent: LinqiaRSSBot
Disallow:/
User-agent: LinqiaScrapeBot
Disallow:/
User-agent: Lipperhey
Disallow:/
User-agent: Lipperhey Spider
Disallow:/
User-agent: Litemage_walker
Disallow:/
User-agent: Lmspider
Disallow:/
User-agent: Ltx71
Disallow:/
User-agent: MFC_Tear_Sample
Disallow:/
User-agent: MIDown tool
Disallow:/
User-agent: MIIxpc
Disallow:/
User-agent: MJ12bot
Disallow:/
User-agent: MQQBrowser
Disallow:/
User-agent: MSFrontPage
Disallow:/
User-agent: MSIECrawler
Disallow:/
User-agent: MTRobot
Disallow:/
User-agent: Mag-Net
Disallow:/
User-agent: Magnet
Disallow:/
User-agent: Mail.RU_Bot
Disallow:/
User-agent: Majestic SEO
Disallow:/
User-agent: Majestic-SEO
Disallow:/
User-agent: Majestic12
Disallow:/
User-agent: MarkMonitor
Disallow:/
User-agent: MarkWatch
Disallow:/
User-agent: Mass Downloader
Disallow:/
User-agent: Masscan
Disallow:/
User-agent: Mata Hari
Disallow:/
User-agent: MauiBot
Disallow:/
User-agent: Mb2345Browser
Disallow:/
User-agent: MeanPath Bot
Disallow:/
User-agent: Meanpathbot
Disallow:/
User-agent: Mediatoolkitbot
Disallow:/
User-agent: MegaIndex.ru
Disallow:/
User-agent: Metauri
Disallow:/
User-agent: MicroMessenger
Disallow:/
User-agent: Microsoft Data Access
Disallow:/
User-agent: Microsoft URL Control
Disallow:/
User-agent: Minefield
Disallow:/
User-agent: Mister PiX
Disallow:/
User-agent: Moblie Safari
Disallow:/
User-agent: Mojeek
Disallow:/
User-agent: Mojolicious
Disallow:/
User-agent: MolokaiBot
Disallow:/
User-agent: Morfeus Fucking Scanner
Disallow:/
User-agent: Mozlila
Disallow:/
User-agent: Mr.4x3
Disallow:/
User-agent: Msrabot
Disallow:/
User-agent: Musobot
Disallow:/
User-agent: NICErsPRO
Disallow:/
User-agent: NPbot
Disallow:/
User-agent: Name Intelligence
Disallow:/
User-agent: Nameprotect
Disallow:/
User-agent: Navroad
Disallow:/
User-agent: NearSite
Disallow:/
User-agent: Needle
Disallow:/
User-agent: Nessus
Disallow:/
User-agent: Net Vampire
Disallow:/
User-agent: NetAnts
Disallow:/
User-agent: NetLyzer
Disallow:/
User-agent: NetMechanic
Disallow:/
User-agent: NetSpider
Disallow:/
User-agent: NetZIP
Disallow:/
User-agent: Netcraft
Disallow:/
User-agent: Nettrack
Disallow:/
User-agent: Netvibes
Disallow:/
User-agent: NextGenSearchBot
Disallow:/
User-agent: Nibbler
Disallow:/
User-agent: Niki-bot
Disallow:/
User-agent: Nikto
Disallow:/
User-agent: NimbleCrawler
Disallow:/
User-agent: Nimbostratus
Disallow:/
User-agent: Ninja
Disallow:/
User-agent: Nmap
Disallow:/
User-agent: Nuclei
Disallow:/
User-agent: Nutch
Disallow:/
User-agent: Octopus
Disallow:/
User-agent: Offline Explorer
Disallow:/
User-agent: Offline Navigator
Disallow:/
User-agent: OnCrawl
Disallow:/
User-agent: OpenLinkProfiler
Disallow:/
User-agent: OpenVAS
Disallow:/
User-agent: Openfind
Disallow:/
User-agent: Openvas
Disallow:/
User-agent: OrangeBot
Disallow:/
User-agent: OrangeSpider
Disallow:/
User-agent: OutclicksBot
Disallow:/
User-agent: OutfoxBot
Disallow:/
User-agent: PECL::HTTP
Disallow:/
User-agent: PHPCrawl
Disallow:/
User-agent: POE-Component-Client-HTTP
Disallow:/
User-agent: Page Analyzer
Disallow:/
User-agent: PageAnalyzer
Disallow:/
User-agent: PageGrabber
Disallow:/
User-agent: PageScorer
Disallow:/
User-agent: PageThing.com
Disallow:/
User-agent: Pandalytics
Disallow:/
User-agent: Panscient
Disallow:/
User-agent: Papa Foto
Disallow:/
User-agent: Pavuk
Disallow:/
User-agent: PeoplePal
Disallow:/
User-agent: Petalbot
Disallow:/
User-agent: Pi-Monster
Disallow:/
User-agent: Picscout
Disallow:/
User-agent: Picsearch
Disallow:/
User-agent: PictureFinder
Disallow:/
User-agent: Piepmatz
Disallow:/
User-agent: Pimonster
Disallow:/
User-agent: Pixray
Disallow:/
User-agent: PleaseCrawl
Disallow:/
User-agent: Pockey
Disallow:/
User-agent: ProPowerBot
Disallow:/
User-agent: ProWebWalker
Disallow:/
User-agent: Probethenet
Disallow:/
User-agent: Proximic
Disallow:/
User-agent: Psbot
Disallow:/
User-agent: Pu_iN
Disallow:/
User-agent: Pump
Disallow:/
User-agent: PxBroker
Disallow:/
User-agent: PyCurl
Disallow:/
User-agent: QueryN Metasearch
Disallow:/
User-agent: Quick-Crawler
Disallow:/
User-agent: RSSingBot
Disallow:/
User-agent: Rainbot
Disallow:/
User-agent: RankActive
Disallow:/
User-agent: RankActiveLinkBot
Disallow:/
User-agent: RankFlex
Disallow:/
User-agent: RankingBot
Disallow:/
User-agent: RankingBot2
Disallow:/
User-agent: Rankivabot
Disallow:/
User-agent: RankurBot
Disallow:/
User-agent: Re-re
Disallow:/
User-agent: ReGet
Disallow:/
User-agent: RealDownload
Disallow:/
User-agent: Reaper
Disallow:/
User-agent: RebelMouse
Disallow:/
User-agent: Recorder
Disallow:/
User-agent: RedesScrapy
Disallow:/
User-agent: RepoMonkey
Disallow:/
User-agent: Ripper
Disallow:/
User-agent: RocketCrawler
Disallow:/
User-agent: Rogerbot
Disallow:/
User-agent: SBIder
Disallow:/
User-agent: SEOkicks
Disallow:/
User-agent: SEOkicks-Robot
Disallow:/
User-agent: SEOlyt
Disallow:/
User-agent: SEOlyticsCrawler
Disallow:/
User-agent: SEOprofiler
Disallow:/
User-agent: SEOstats
Disallow:/
User-agent: SISTRIX
Disallow:/
User-agent: SMTBot
Disallow:/
User-agent: SalesIntelligent
Disallow:/
User-agent: ScanAlert
Disallow:/
User-agent: Scanbot
Disallow:/
User-agent: ScoutJet
Disallow:/
User-agent: Scrapy
Disallow:/
User-agent: Screaming
Disallow:/
User-agent: ScreenerBot
Disallow:/
User-agent: ScrepyBot
Disallow:/
User-agent: Searchestate
Disallow:/
User-agent: SearchmetricsBot
Disallow:/
User-agent: Seekport
Disallow:/
User-agent: SeekportBot
Disallow:/
User-agent: SemanticJuice
Disallow:/
User-agent: Semrush
Disallow:/
User-agent: SemrushBot
Disallow:/
User-agent: SemrushBot-BA
Disallow:/
User-agent: SemrushBot-FT
Disallow:/
User-agent: SemrushBot-OCOB
Disallow:/
User-agent: SemrushBot-SI
Disallow:/
User-agent: SemrushBot-SWA
Disallow:/
User-agent: SentiBot
Disallow:/
User-agent: SenutoBot
Disallow:/
User-agent: SeoCherryBot
Disallow:/
User-agent: SeoSiteCheckup
Disallow:/
User-agent: SeobilityBot
Disallow:/
User-agent: Seomoz
Disallow:/
User-agent: Shodan
Disallow:/
User-agent: Siphon
Disallow:/
User-agent: Site Sucker
Disallow:/
User-agent: SiteAuditBot
Disallow:/
User-agent: SiteCheckerBotCrawler
Disallow:/
User-agent: SiteExplorer
Disallow:/
User-agent: SiteLockSpider
Disallow:/
User-agent: SiteSnagger
Disallow:/
User-agent: SiteSucker
Disallow:/
User-agent: Sitebeam
Disallow:/
User-agent: Siteimprove
Disallow:/
User-agent: Sitevigil
Disallow:/
User-agent: SlySearch
Disallow:/
User-agent: SmartDownload
Disallow:/
User-agent: Snake
Disallow:/
User-agent: Snapbot
Disallow:/
User-agent: Snoopy
Disallow:/
User-agent: SocialRankIOBot
Disallow:/
User-agent: Sociscraper
Disallow:/
User-agent: Sogou web spider
Disallow:/
User-agent: Sosospider
Disallow:/
User-agent: Sottopop
Disallow:/
User-agent: SpaceBison
Disallow:/
User-agent: Spammen
Disallow:/
User-agent: SpankBot
Disallow:/
User-agent: Spanner
Disallow:/
User-agent: Spbot
Disallow:/
User-agent: Spider_Bot
Disallow:/
User-agent: Spider_Bot/3.0
Disallow:/
User-agent: Spinn3r
Disallow:/
User-agent: SplitSignalBot
Disallow:/
User-agent: SputnikBot
Disallow:/
User-agent: Sqlmap
Disallow:/
User-agent: Sqlworm
Disallow:/
User-agent: Sqworm
Disallow:/
User-agent: Steeler
Disallow:/
User-agent: Stripper
Disallow:/
User-agent: Sucker
Disallow:/
User-agent: Sucuri
Disallow:/
User-agent: SuperBot
Disallow:/
User-agent: SuperHTTP
Disallow:/
User-agent: Surfbot
Disallow:/
User-agent: SurveyBot
Disallow:/
User-agent: Suzuran
Disallow:/
User-agent: Swiftbot
Disallow:/
User-agent: Szukacz
Disallow:/
User-agent: T0PHackTeam
Disallow:/
User-agent: T8Abot
Disallow:/
User-agent: Teleport
Disallow:/
User-agent: TeleportPro
Disallow:/
User-agent: Telesoft
Disallow:/
User-agent: Telesphoreo
Disallow:/
User-agent: Telesphorep
Disallow:/
User-agent: The Intraformant
Disallow:/
User-agent: TheNomad
Disallow:/
User-agent: Thumbor
Disallow:/
User-agent: TightTwatBot
Disallow:/
User-agent: TinyTestBot
Disallow:/
User-agent: Titan
Disallow:/
User-agent: Toata
Disallow:/
User-agent: Toweyabot
Disallow:/
User-agent: Tracemyfile
Disallow:/
User-agent: Trendiction
Disallow:/
User-agent: Trendictionbot
Disallow:/
User-agent: True_Robot
Disallow:/
User-agent: Turingos
Disallow:/
User-agent: Turnitin
Disallow:/
User-agent: TurnitinBot
Disallow:/
User-agent: TwengaBot
Disallow:/
User-agent: Twice
Disallow:/
User-agent: Typhoeus
Disallow:/
User-agent: URLy Warning
Disallow:/
User-agent: URLy.Warning
Disallow:/
User-agent: UnisterBot
Disallow:/
User-agent: Upflow
Disallow:/
User-agent: V-BOT
Disallow:/
User-agent: VB Project
Disallow:/
User-agent: VCI
Disallow:/
User-agent: Vacuum
Disallow:/
User-agent: Vagabondo
Disallow:/
User-agent: VelenPublicWebCrawler
Disallow:/
User-agent: VeriCiteCrawler
Disallow:/
User-agent: VidibleScraper
Disallow:/
User-agent: Virusdie
Disallow:/
User-agent: VoidEYE
Disallow:/
User-agent: Voil
Disallow:/
User-agent: Voltron
Disallow:/
User-agent: WASALive-Bot
Disallow:/
User-agent: WBSearchBot
Disallow:/
User-agent: WEBDAV
Disallow:/
User-agent: WISENutbot
Disallow:/
User-agent: WPScan
Disallow:/
User-agent: WWW-Collector-E
Disallow:/
User-agent: WWW-Mechanize
Disallow:/
User-agent: WWW::Mechanize
Disallow:/
User-agent: WWWOFFLE
Disallow:/
User-agent: Wallpapers
Disallow:/
User-agent: Wallpapers/3.0
Disallow:/
User-agent: WallpapersHD
Disallow:/
User-agent: WeSEE
Disallow:/
User-agent: Web Auto
Disallow:/
User-agent: Web Collage
Disallow:/
User-agent: Web Enhancer
Disallow:/
User-agent: Web Fetch
Disallow:/
User-agent: Web Fuck
Disallow:/
User-agent: Web Pix
Disallow:/
User-agent: Web Sauger
Disallow:/
User-agent: Web Sucker
Disallow:/
User-agent: WebAuto
Disallow:/
User-agent: WebBandit
Disallow:/
User-agent: WebCollage
Disallow:/
User-agent: WebCopier
Disallow:/
User-agent: WebEnhancer
Disallow:/
User-agent: WebFetch
Disallow:/
User-agent: WebFuck
Disallow:/
User-agent: WebGo IS
Disallow:/
User-agent: WebImageCollector
Disallow:/
User-agent: WebLeacher
Disallow:/
User-agent: WebPix
Disallow:/
User-agent: WebReaper
Disallow:/
User-agent: WebSauger
Disallow:/
User-agent: WebStripper
Disallow:/
User-agent: WebSucker
Disallow:/
User-agent: WebWhacker
Disallow:/
User-agent: WebZIP
Disallow:/
User-agent: Webalta
Disallow:/
User-agent: WebmasterWorldForumBot
Disallow:/
User-agent: Webshag
Disallow:/
User-agent: Website Quester
Disallow:/
User-agent: WebsiteExtractor
Disallow:/
User-agent: WebsiteQuester
Disallow:/
User-agent: Webster
Disallow:/
User-agent: Whack
Disallow:/
User-agent: Whacker
Disallow:/
User-agent: Whatweb
Disallow:/
User-agent: Who.is Bot
Disallow:/
User-agent: Widow
Disallow:/
User-agent: WinHTTrack
Disallow:/
User-agent: WiseGuys Robot
Disallow:/
User-agent: Wonderbot
Disallow:/
User-agent: Woobot
Disallow:/
User-agent: Wotbox
Disallow:/
User-agent: Wprecon
Disallow:/
User-agent: Xaldon WebSpider
Disallow:/
User-agent: Xaldon_WebSpider
Disallow:/
User-agent: Xenu
Disallow:/
User-agent: YaK
Disallow:/
User-agent: YoudaoBot
Disallow:/
User-agent: Zade
Disallow:/
User-agent: Zauba
Disallow:/
User-agent: Zermelo
Disallow:/
User-agent: Zeus
Disallow:/
User-agent: Zitebot
Disallow:/
User-agent: ZmEu
Disallow:/
User-agent: ZoomBot
Disallow:/
User-agent: ZoominfoBot
Disallow:/
User-agent: ZumBot
Disallow:/
User-agent: ZyBorg
Disallow:/
User-agent: adscanner
Disallow:/
User-agent: allenai.org
Disallow:/
User-agent: anthropic-ai
Disallow:/
User-agent: archive.org_bot
Disallow:/
User-agent: arquivo-web-crawler
Disallow:/
User-agent: arquivo.pt
Disallow:/
User-agent: autoemailspider
Disallow:/
User-agent: awario.com
Disallow:/
User-agent: backlink-check
Disallow:/
User-agent: cah.io.community
Disallow:/
User-agent: check1.exe
Disallow:/
User-agent: clark-crawler
Disallow:/
User-agent: coccocbot
Disallow:/
User-agent: cognitiveseo
Disallow:/
User-agent: cohere-ai
Disallow:/
User-agent: com.plumanalytics
Disallow:/
User-agent: crawl.sogou.com
Disallow:/
User-agent: crawler.feedback
Disallow:/
User-agent: crawler4j
Disallow:/
User-agent: dataforseo.com
Disallow:/
User-agent: dataforseobot
Disallow:/
User-agent: dataprovider
Disallow:/
User-agent: demandbase-bot
Disallow:/
User-agent: domainsproject.org
Disallow:/
User-agent: eCatch
Disallow:/
User-agent: evc-batch
Disallow:/
User-agent: everyfeed-spider
Disallow:/
User-agent: facebookscraper
Disallow:/
User-agent: gopher
Disallow:/
User-agent: heritrix
Disallow:/
User-agent: imagesift.com
Disallow:/
User-agent: instabid
Disallow:/
User-agent: internetVista monitor
Disallow:/
User-agent: ips-agent
Disallow:/
User-agent: isitwp.com
Disallow:/
User-agent: iubenda-radar
Disallow:/
User-agent: l9scan
Disallow:/
User-agent: leakix
Disallow:/
User-agent: linkdexbot
Disallow:/
User-agent: linkfluence
Disallow:/
User-agent: lwp-request
Disallow:/
User-agent: lwp-trivial
Disallow:/
User-agent: magpie-crawler
Disallow:/
User-agent: meanpathbot
Disallow:/
User-agent: mediawords
Disallow:/
User-agent: muhstik-scan
Disallow:/
User-agent: netEstate NE Crawler
Disallow:/
User-agent: oBot
Disallow:/
User-agent: omgili
Disallow:/
User-agent: openai
Disallow:/
User-agent: openai.com
Disallow:/
User-agent: page scorer
Disallow:/
User-agent: pcBrowser
Disallow:/
User-agent: plumanalytics
Disallow:/
User-agent: polaris version
Disallow:/
User-agent: probe-image-size
Disallow:/
User-agent: ripz
Disallow:/
User-agent: s1z.ru
Disallow:/
User-agent: satoristudio.net
Disallow:/
User-agent: scalaj-http
Disallow:/
User-agent: scan.lol
Disallow:/
User-agent: seobility
Disallow:/
User-agent: seocompany.store
Disallow:/
User-agent: seoscanners
Disallow:/
User-agent: seostar
Disallow:/
User-agent: serpstatbot
Disallow:/
User-agent: sexsearcher
Disallow:/
User-agent: sitechecker.pro
Disallow:/
User-agent: siteripz
Disallow:/
User-agent: sogouspider
Disallow:/
User-agent: sp_auditbot
Disallow:/
User-agent: spyfu
Disallow:/
User-agent: sysscan
Disallow:/
User-agent: tAkeOut
Disallow:/
User-agent: trendiction.com
Disallow:/
User-agent: trendiction.de
Disallow:/
User-agent: ubermetrics-technologies.com
Disallow:/
User-agent: voyagerx.com
Disallow:/
User-agent: webgains-bot
Disallow:/
User-agent: webmeup-crawler
Disallow:/
User-agent: webpros.com
Disallow:/
User-agent: webprosbot
Disallow:/
User-agent: x09Mozilla
Disallow:/
User-agent: x22Mozilla
Disallow:/
User-agent: xpymep1.exe
Disallow:/
User-agent: zauba.io
Disallow:/
User-agent: zgrab
Disallow:/

от нейросетевых не поможет, они юзерагентов налету умеют менять... но частично помогает.

Как я повысил доход в РСЯ на 112%
ctit ctit #:

Будьте аккуратнее, google в этом случае заблокирует доступ к странице, в поиске она будет, но вместо описания будет "Информация об этой странице недоступна". 
https://support.google.com/webmasters/answer/7489871?hl=ru

Что касается блокировки ботов, очень и очень осторожно надо подходить, но в итоге за 2 месяца принесло больше плюсов.

Я написал примеры которые можно использовать, не все там нужно и не все спасет, каждый случай вообще уникальный.  Я тут с Бразилией возился несколько дней (смотрел откуда ходят) пока полностью не залочил все диапазоны кроме домашних-проводных, после чего боты исчезли.  А бывало и по 10 тыс разом залетали.    Сейчас периодически Африка, Китай, США и некоторые Азиатские страны дают короткие всплески, пока перебрасываю их на 403 с парой кнопок левых, смотрю что тапают.  Российские ботсети выпилил под корень, пока свежих нет... 

Отключили РСЯ для Телеграм с пометкой по иным причинам
ivanko44 #:

Не хочу никого расстраивать на новый год, но горькая правда лучше сказок. 

Монетизация телеги - это пустая трата времени по причине того, что скоро она вся уйдет в тот самый мессенджер, устанавливать который мало кто хочет по какой-то причине.  Уже сейчас многие из вас могут столкнуться с массовыми блокировками каналов. 

Кто не поверил - официально...   и отключать не нужно, сами все отключатся теперь. 

Власти приняли решение начать  работу по замедлению мессенджера Telegram в России. Источники РБК в профильных ведомствах рассказали, что Роскомнадзор начнет вводить меры по замедлению приложения уже с 10 февраля.


Напомним, что в августе прошлого года РКН ограничивал звонки в Telegram, объясняя это решение тем, что мессенджер стал одним из «основных голосовых сервисов, используемых для обмана и вымогательства денег, вовлечения в диверсионную и террористическую деятельность российских граждан».

Позже, в октябре, в Роскомнадзоре рассказали, что начали частично ограничивать Telegram для противодействия преступникам. Согласно данным сервисов, фиксирующих сбои в работе приложений, 9 и 10 февраля россияне массово жалуются на проблемы в работе Telegram.
Как я повысил доход в РСЯ на 112%

Кто заметил, тот понял, что на этом форуме нельзя раскрывать "тайны датского королества", тему снесли, хотя она не нарушает никакие правила.  Кто с головой, тот догадался откуда рога выросли... Скоприруйте текст и запомните описанный ниже алгоритм - это 100% рабочий алгоритм, но тут он кое-кому сиьно не понравился...   Полный скрин темы тут https://api.pikwy.com/web/697e26fcdd4e0b54c252b07f.jpg

Вероятно этой мой последний пост на данном ресурсе, тема пока еще доступна в кеше, но я попробую продублировать текст тут... 


Как я уже рассказывал ранее, стоимость рекламы на вашем сайте зависит от качества вашего трафика, более подробно можно прочитать в теме.   Следующий шаг к повышению дохода основан на проверенной статистике и работает в связке с трафиком в вашу пользу.    Не секрет "что друзья не растут в огороде"...  что РСЯ - это биржа.  Законы биржи хотя и сложны для понимания многими из вас, но и просты для тех ко в теме.  Больше спроса - дороже товар.   Так вот, ваш сайт - товар.   Вы продаете рекламное место и его стоимость зависит о того, сколько рекламного места на вашем сайте и в соотношении трафика это имеет непостредственную взаимосвязь.  Если на вашем сайте от 1000 уникальных заходов в сутки, вы уже можете значительно повысить цену рекламного места.   Но есть но...    Если вы ставите много рекламных блоков на своем сайте, вы гарантированно снижаете общую цену всех показов и кликов на вашем сайте.  А если 1000 нормальных сайтов одновременно оставят по одному рекламному блоку вместо, скажем, 5–10 → цена рекламы вырастет уже завтра, особенно в programmatic и аукционных закупках. Именно поэтому многие издатели и сознательно сокращают количество слотов — чтобы поднять eCPM/CPM и не «убивать» рынок низкими ценами.  Это как в такси в час-пик, вам надо на работу, а цена растет в два-три раза, после 9 утра все разъехались и цена на такси упала в два, а то и три раза! Все просто, но сложней убедить паблишеров в этом.      Все то же самое происходит и с другой стороны, чембольше паблишеров и чем больше рекламных мест на ресурсе, тем дешевле стоит показ или клик, что очень нравится рекламодателям и особенно организатору рекламной сети, так как доход организатора от количества только растет. Что делать?  Для начала дочитать до самого конца...  

Убавьте количество блоков на своем сайте, оставьте два-три самых видимых и через неделю вы начнете удивляться, что ваш доход не уменьшился, а плавно пошел в гору.   С уменьшением количества мест для рекламы и ростом спроса, цены неизбежно поднимаются — так действует закон рынка!  Наберитесь терпения, не все сразу и не резко, но это произойдет через некторое время, вероятно это зависит от уже закупленнной рекламы и уже определенного рекламодателями бюджета на месяц.  Этот метот работает особенно хорошо в узких нишевых ресурсах,  на региональных сайтах под конкретый регион и т.д.  то есть там, где в настройках рекламной кампании применяется  геотаргетинг или таргетинг по интересам,  а не в тупую откручивается все дали, все,  что есть (а организатор как раз говорит постоянно, что ставьте все!).  Первый признак того, что реклама на вашем сайте подешевела - это появление рекламы самого организатора, ага его самого - родного.  Он просто заполняет ваши места потому, что слоты не распроданы и ваш сайт для рекламодателя - ГС.    Так что подберите уже лапшу и начните думать.

Поднимать ли минимальную цену в настройках блока?   

Как показала практика, это не работает практически никогда, есть вероятнсть того, что этот параметр существует где-то в личном кабинете и продажа его слота осуществляется по какому-то остаточному принципу... 


Как работает аукцион.... информация для начинающих. 

RTB-аукцион (Real-Time Bidding) — это мгновенный аукцион за каждый отдельный показ рекламы (impression), который происходит в миллисекундах, пока страница загружается у пользователя. Это основа открытого programmatic-рынка.

  1. Пользователь заходит на сайт / открывает приложение / начинает видео В этот момент на странице появляется пустой рекламный блок (ad slot).
  2. Сайт/приложение через SSP (Supply-Side Platform — платформа для издателей) генерирует bid request.  Это пакет данных, который содержит:
    • URL страницы и её категорию
    • устройство, браузер, ОС
    • геолокацию (обычно город/регион)
    • возраст/пол/интересы (если доступны через cookie / device ID / contextual signals)
    • user ID (анонимизированный, часто через Unified ID 2.0 или другие cookieless-идентификаторы)
    • floor price (минимальная цена, ниже которой показ не продаётся)
    • ограничения бренд-безопасности, viewability и т.д.
  3. SSP отправляет bid request на Ad Exchange (или несколько exchange одновременно — header bidding)
    Ad Exchange — это  «биржа», где встречаются продавцы (издатели) и покупатели (рекламодатели).
  4. Ad Exchange рассылает bid request всем подключённым DSP (Demand-Side Platform — платформы рекламодателей)
    Обычно за 50–150 мс DSP получают запрос и должны ответить.
  5. Каждая DSP за миллисекунды решает- участвовать или нет
    Алгоритм DSP смотрит:
    • Соответствует ли пользователь целям кампании (таргетинг по аудитории, look-alike, retargeting, контексту)?
    • Какова прогнозируемая ценность этого показа (pCTR, pCVR, expected value)?
    • Сколько раз пользователь уже видел эту рекламу (frequency capping)?
    • Время суток, день недели, тип устройства и т.д.
    Если участвует → DSP мгновенно рассчитывает bid (ставку в CPM).
    Современные DSP используют AI/ML и делают сотни корректировок ставки в реальном времени:
    • ×2.5 — первый показ бренда пользователю
    • ×0.7 — сайт с низкой исторической конверсией
    • ×1.3 — пользователь в нужном LTV-сегменте
    • и т.д. → итоговая ставка может отличаться в 5–10 раз от базовой.
  6. Все DSP, которые решили участвовать, присылают свои ставки обратно на Ad Exchange
    (время на ответ обычно ≤ 100–120 мс)
  7. Ad Exchange проводит аукцион (обычно second-price auction или его вариации)
    • побеждает самая высокая ставка
    • платит вторую по величине ставку + $0.01 (или +1 копейку, в зависимости от платформы)
    • иногда используются first-price аукционы (платит ровно свою ставку) — они стали популярнее после 2023–2024 гг.
  8. Победивший рекламодатель получает показ
    Ad Exchange сообщает SSP → SSP отдаёт «победный» креатив рекламодателя → он мгновенно подгружается на страницу.
    Всё происходит за 100–300 мс (пока страница загружается).

Представьте, что каждый раз, когда кто-то открывает дверь в магазин — за эту секунду начинается аукцион!!! 
«Кто больше заплатит, чтобы поставить свою рекламу на эту дверь прямо сейчас?» Торги длятся 0,1 секунды → побеждает самый щедрый → реклама мгновенно вешается. Именно поэтому сокращение слотов резко увеличивает конкуренцию за оставшиеся показы → цены растут.


Всем добра, бобра- баабла!   Думайте головой!

123456 7
Всего: 64