В общем ссылки растут, с 60к прыгнуло на 100к, вроде домены те же, только количество увеличилось. Не думаю, что за эти ссылки кто-то платит, скорее всего какой-то прогон тем же хрумером или еще как по огромной базе сайтов. Наверное даже такие услуги есть, аля навалить говна на сайт конкурента, хотя какой я конкурент, если по моей теме сайтов тысячи.
Про эту шн..гу давно читал, проверил домен также свободен)))
Кстати вот основные домены вредители, с них и идут почти все ссылки, особенно первые три:
lehongphonghighschool.com
maimaiyeuem.tk
djiphantomforum.net
realmofcoins.com
cloudsite.ir
majormovement.com
azpoint.net
freedomfartersunited.com
А ссылки в вебмастере гугла отображаются так: http://pix.my/k1P4wQjT
я так понимаю они как-то с моим сайтом их склеили или что за промежуточная ссылка?
Захожу на один из этих сайтов по ссылке, кучу матерных слов и все ссылки на мои страницы сайта, что за фигня, как это делается, как убрать? Кто может помочь, посоветовать в этом вопросе? Не хочется проект губить, много сил, времени, да и денег вложено
Who is показывает дату регистрации, когда я его и регал или как еще посмотреть?
Но думаю это спецом делают.
В общем в диссалов отправил, платонам также написал. Дай Бог пропадут эти ссылки также быстро, как и появились
а домен не дроп? (м.б. ссылки остались с прошлых времен?)
Да вроде не дроп, покупал как новый у известного регистратора.
Сайт вроде не взломан, мне ahrefs уже давно какие-то 900 ссылок рисовал, в панели вебмастеров не было я не придавал значения. А тут откуда то такое внимание к моему сайту. В диссалов уже добавил все домены эти, а по яндексу пока ничего не вылезло. Есть ли смысл в яндекс скрин панели гугла слать заранее? Слыхал они всякие спам ссылки сами отлоняют.
Блин и тут Rds bar как назло с 100, которая была пару недель назад показывает 47% в основном индексе, может конечно совпадение.
Уверенности нет, но у серьезных ребят подсмотрел, поэтому на всякий случай))
Приветствую!
Собрал такой себе нехилый robots.txt для своего статейника на wordpress, ориентировался на несколько очень сильно оптимизированных сайтов, чуток с пузатовского марафона взял, прошу заценить:
User-agent: Yandex
Disallow: /sample-page/
Disallow: /search/
Disallow: /search/*
Disallow: *?sortby=*
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */author/*
Disallow: */feed/
Disallow: *page=*
Disallow: */page/*
Disallow: */feed
Disallow: */feed/atom/
Disallow: /?feed=
Disallow: */trackback/
Disallow: /search
Disallow: /?s=
Disallow: */comments/
Disallow: */comment
Disallow: */tag/*
Disallow: */attachment/*
Disallow: *page__view__getnewpost*
Disallow: /*&s=
Disallow: /*&s=*
Disallow: /*?s=
Disallow: /*?s=*
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*page__view__findpost*
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*page__p__*
Disallow: *?print=1
Allow: /wp-content/uploads/
Host: site.ru
User-agent: Googlebot
User-agent: *
User-agent: Googlebot-Image
User-agent: YandexImages
Crawl-delay: 5
User-agent: grub-client
Disallow: /
User-agent: grub
User-agent: looksmart
User-agent: WebZip
User-agent: larbin
User-agent: b2w/0.1
User-agent: psbot
User-agent: Python-urllib
User-agent: NetMechanic
User-agent: URL_Spider_Pro
User-agent: CherryPicker
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: WebBandit
User-agent: EmailWolf
User-agent: ExtractorPro
User-agent: CopyRightCheck
User-agent: Crescent
User-agent: SiteSnagger
User-agent: ProWebWalker
User-agent: CheeseBot
User-agent: LNSpiderguy
User-agent: ia_archiver
User-agent: ia_archiver/1.6
User-agent: Teleport
User-agent: TeleportPro
User-agent: MIIxpc
User-agent: Telesoft
User-agent: Website Quester
User-agent: moget/2.1
User-agent: WebZip/4.0
User-agent: WebStripper
User-agent: WebSauger
User-agent: WebCopier
User-agent: NetAnts
User-agent: Mister PiX
User-agent: WebAuto
User-agent: TheNomad
User-agent: WWW-Collector-E
User-agent: RMA
User-agent: libWeb/clsHTTP
User-agent: asterias
User-agent: httplib
User-agent: turingos
User-agent: spanner
User-agent: InfoNaviRobot
User-agent: Harvest/1.5
User-agent: Bullseye/1.0
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: CherryPickerSE/1.0
User-agent: CherryPickerElite/1.0
User-agent: WebBandit/3.50
User-agent: NICErsPRO
User-agent: Microsoft URL Control - 5.01.4511
User-agent: DittoSpyder
User-agent: Foobot
User-agent: WebmasterWorldForumBot
User-agent: SpankBot
User-agent: BotALot
User-agent: lwp-trivial/1.34
User-agent: lwp-trivial
User-agent: BunnySlippers
User-agent: Microsoft URL Control - 6.00.8169
User-agent: URLy Warning
User-agent: Wget/1.6
User-agent: Wget/1.5.3
User-agent: Wget
User-agent: LinkWalker
User-agent: cosmos
User-agent: moget
User-agent: hloader
User-agent: humanlinks
User-agent: LinkextractorPro
User-agent: Offline Explorer
User-agent: Mata Hari
User-agent: LexiBot
User-agent: Web Image Collector
User-agent: The Intraformant
User-agent: True_Robot/1.0
User-agent: True_Robot
User-agent: BlowFish/1.0
User-agent: JennyBot
User-agent: MIIxpc/4.2
User-agent: BuiltBotTough
User-agent: ProPowerBot/2.14
User-agent: BackDoorBot/1.0
User-agent: toCrawl/UrlDispatcher
User-agent: WebEnhancer
User-agent: suzuran
User-agent: VCI WebViewer VCI WebViewer Win32
User-agent: VCI
User-agent: Szukacz/1.4
User-agent: QueryN Metasearch
User-agent: Openfind data gathere
User-agent: Openfind
User-agent: Xenu's Link Sleuth 1.1c
User-agent: Xenu's
User-agent: Zeus
User-agent: RepoMonkey Bait & Tackle/v1.01
User-agent: RepoMonkey
User-agent: Microsoft URL Control
User-agent: Openbot
User-agent: URL Control
User-agent: Zeus Link Scout
User-agent: Zeus 32297 Webster Pro V2.9 Win32
User-agent: Webster Pro
User-agent: EroCrawler
User-agent: LinkScan/8.1a Unix
User-agent: Keyword Density/0.9
User-agent: Kenjin Spider
User-agent: Iron33/1.0.2
User-agent: Bookmark search tool
User-agent: GetRight/4.2
User-agent: FairAd Client
User-agent: Gaisbot
User-agent: Aqua_Products
User-agent: Radiation Retriever 1.1
User-agent: Flaming AttackBot
User-agent: Oracle Ultra Search
User-agent: MSIECrawler
User-agent: PerMan
User-agent: searchpreview
User-Agent: YaDirectBot
Disallow:
User-agent: MediaPartners-Google
Sitemap: http://site/sitemap_index.xml
А....вариант)
Но я же не могу скрыть от индексации саму карту сайта))
Или закрыть от индексации robots.txt или я чего-то не понял?
Ясно, догадывался, что с дорвеями связано, просто не понятно как клеят ссылки. Вот ублюдки второй сайт уже такую беду словил. Хостеру написал, но сомневаюсь, что поможет((
Спасибо за внимание к моему вопросу, а не подскажите, как отслеживать и где "доступность сайта для бота"?
