yalol

yalol
Рейтинг
233
Регистрация
12.12.2007
Search Google #:

Как чудненько, проблема решилась сама собой, тему можно закрывать.

Сайт надо оптимизировать. У меня старый WP. Если обновить, то все летит к чертям.

А так сервер должен быть мощным 

Частота процессора составляет 2.0Ггц
cpu MHz : 1996.249
В режиме boost частота может повышаться до 3.3Ггц.

8 ядер

12 ГБ оперативной памяти NVME

livetv #:

А в интернете?

Особенно сайты, которые часто посещали.

Вы думаете, что у меня инет слабый)) Нет,у меня нормальный интернет.

Сейчас сайт мой тоже норм открывается

livetv #:
А другие сайты быстро работают?

на этом сервере один сайт только

Search Google #:

автоексперт

У меня не автоексперт домен)

Search Google #:


Сайт не блещет скоростью, но в dns ли проблема это под вопросом.

какой домен проверяете?

webinfo #:

В таких случаях в первую очередь надо выяснять, на каком этапе возникают тормоза. Возможно, что в данном случае проблема долгой загрузки страниц вообще никак не связана с DNS.

просто любопытно, что после перехода на NS хостера, сайт стал медленнее грузится. 

Вот список ботов, которых заблокировал хостер:

(360Spider|80legs.com|Abonti|Amazonbot|AcoonBot|Acunetix|adbeat_bot|AddThis.com|adidxbot|ADmantX|AhrefsBot|AngloINFO|Antelope|Applebot|BaiduSpider|BeetleBot|billigerbot|bingbot|binlar|bitlybot|BlackWidow|BLP_bbot|BoardReader|Bolt\ 0|BOT\ for\ JCE|Bot\ mailto\:craftbot@yahoo\.com|casper|CazoodleBot|CCBot|checkprivacy|ChinaClaw|chromeframe|ClaudeBot|Clerkbot|Cliqzbot|clshttp|CommonCrawler|comodo|CPython|crawler4j|Crawlera|CRAZYWEBCRAWLER|Curious|Custo|CWS_proxy|Default\ Browser\ 0|diavol|DigExt|Digincore|DIIbot|DISCo|discobot|DoCoMo|DotBot|Download\ Demon|DTS.Agent|EasouSpider|eCatch|ecxi|EirGrabber|Elmer|EmailCollector|EmailSiphon|EmailWolf|Exabot|ExaleadCloudView|ExpertSearch|ExpertSearchSpider|Express\ WebPictures|extract|ExtractorPro|EyeNetIE|Ezooms|F2S|FastSeek|feedfinder|FeedlyBot|FHscan|finbot|Flamingo_SearchEngine|FlappyBot|FlashGet|flicky|Flipboard|g00g1e|genieo|Genieo|GetRight|GetWeb\!|GigablastOpenSource|Go\-Ahead\-Got\-It|Go\!Zilla|GozaikBot|grab|GrabNet|Grafula|GrapeshotCrawler|GT\:\:WWW|GTB5|Guzzle|harvest|heritrix|HMView|HomePageBot|HTTP\:\:Lite|HTTrack|HubSpot|ia_archiver|icarus6|id\-search|IDBot|IlseBot|Image\ Stripper|Image\ Sucker|Indigonet|Indy\ Library|integromedb|InterGET|Internet\ Ninja|InternetSeer\.com|IRLbot|ISC\ Systems\ iRc\ Search\ 2\.1|jakarta|JetCar|JobdiggerSpider|JOC\ Web\ Spider|Jooblebot|Jorgee|kanagawa|KINGSpider|kmccrew|larbin|LeechFTP|libwww|Lingewoud|LinkChecker|linkdexbot|LinksCrawler|LinksManager\.com_bot|linkwalker|LinqiaRSSBot|LivelapBot|ltx71|LubbersBot|lwp\-trivial|Mass\ Downloader|masscan|maverick|Maxthon$|Mediatoolkitbot|megaindex|MegaIndex|MegaIndex|MFC_Tear_Sample|Microsoft\ URL\ Control|microsoft\.url|MIDown\ tool|miner|Missigua\ Locator|Mister\ PiX|mj12bot|Mozilla.*Indy|Mozilla.*NEWT|MSFrontPage|msnbot|Navroad|NearSite|Net\ Vampire|NetAnts|netEstate|NetSpider|NetZIP|NextGenSearchBot|nutch|Octopus|Offline\ Explorer|Offline\ Navigator|OpenindexSpider|OpenWebSpider|OrangeBot|Owlin|PageGrabber|PagesInventory|panopta|panscient\.com|Papa\ Foto|pavuk|pcBrowser|PECL\:\:HTTP|PeoplePal|Photon|PHPCrawl|planetwork|PleaseCrawl|PNAMAIN.EXE|PodcastPartyBot|prijsbest|proximic|psbot|purebot|pycurl|QuerySeekerSpider|R6_CommentReader|R6_FeedFetcher|RealDownload|ReGet|Riddler|Rippers\ 0|rogerbot|RSSingBot|rv\:1.9.1|RyzeCrawler|SafeSearch|SBIder|Scrapy|Scrapy|Screaming|search_robot|search.goo.ne.jp|serpstatbot|SearchmetricsBot|Semrush|SemrushBot|SentiBot|SEOkicks|SeznamBot|ShowyouBot|SightupBot|SISTRIX|sitecheck\.internetseer\.com|siteexplorer.info|SiteSnagger|skygrid|Slackbot|Slurp|SmartDownload|Snoopy|Sogou|Sosospider|spaumbot|Steeler|sucker|SuperBot|Superfeedr|SuperHTTP|SurdotlyBot|Surfbot|tAkeOut|Teleport\ Pro|TinEye|TinEye-bot|Toata\ dragostea\ mea\ pentru\ diavola|Toplistbot|trendictionbot|turnit|TurnitinBot|Twenga|TwengaBot|Twitterbot|URI\:\:Fetch|urllib|Vagabondo|Vagabondo|vikspider|VoidEYE|VoilaBot|WBSearchBot|Web\ Image\ Collector|Web\ Sucker|webalta|WebAuto|WebBandit|WebCollage|WebCopier|WebFetch|WebGo\ IS|WebLeacher|WebReaper|WebSauger|Website\ eXtractor|Website\ Quester|WebStripper|WebWhacker|WebZIP|Wells\ Search\ II|WEP\ Search|WeSEE|Widow|WinInet|woobot|woopingbot|worldwebheritage.org|Wotbox|WPScan|WWW\-Mechanize|WWWOFFLE|Xaldon\ WebSpider|XoviBot|yacybot|Yahoo|YisouSpider|zermelo|Zeus|zh-CN|ZmEu|ZumBot|ZyBorg)


Немного ли?

musme #:
Нет, не верно. Т.е. это что мёртвому припарка. Вообще они реферер не палят. Иногда случаются косяки и он утекает. Кроме этого API есть и другие.
Пожалуй самый действенный способ - использовать Cloudflare. Множество веток на этом форуме создано. Все возможные настройки waf внутри Cloudflare обсуждались много раз. Воспользуйтесь поиском по форуму.

Что касается api.pfbaza.website, то эти товарищи общаются в тг. Там есть чат, можете почитать. На данный момент владелец ПФ базы активно продвигает povfac.ru. Находчивые ребята продвигают свои сайты через ПФ. А боты качаются на других сайтах., в том числе и на вашем.

Часто используют прокси ipv6, так как экономят на ipv4. По этой причине возможно стоит отключить через тот же Cloudflare поддержку ipv6.

К сожалению ботоводы-накрутчики будут и дальше портить жизнь многим. Яндекс вряд ли может бороться/заинтересован в борьбе с ними. 

На своем опыте могу сказать, что в один момент отказы увеличились с 12-13 до 21-23%. С помощью Cloudflare удалось стабилизировать отказы до 13-14%. Но и трафик просел. Хотя сложно сказать из-за этого ли. Походу сейчас у многих проблемы. 

Эти переходы с данного сайта - боты осуществляют или? Те переходы, что я вижу в статистике .


Кстати, наверное с декабря прошлого года боты активно нагружали сервер и с закладок типа шло по 20 000 посетителей. И вот только недавно - около месяца назад ушло все это и посещаемость упала, но на доходе это не сильно сказалось. 

musme #:
Нет, не верно. Т.е. это что мёртвому припарка. Вообще они реферер не палят. Иногда случаются косяки и он утекает. Кроме этого API есть и другие.
Пожалуй самый действенный способ - использовать Cloudflare. Множество веток на этом форуме создано. Все возможные настройки waf внутри Cloudflare обсуждались много раз. Воспользуйтесь поиском по форуму.

Что касается api.pfbaza.website, то эти товарищи общаются в тг. Там есть чат, можете почитать. На данный момент владелец ПФ базы активно продвигает povfac.ru. Находчивые ребята продвигают свои сайты через ПФ. А боты качаются на других сайтах., в том числе и на вашем.

Часто используют прокси ipv6, так как экономят на ipv4. По этой причине возможно стоит отключить через тот же Cloudflare поддержку ipv6.

К сожалению ботоводы-накрутчики будут и дальше портить жизнь многим. Яндекс вряд ли может бороться/заинтересован в борьбе с ними. 

На своем опыте могу сказать, что в один момент отказы увеличились с 12-13 до 21-23%. С помощью Cloudflare удалось стабилизировать отказы до 13-14%. Но и трафик просел. Хотя сложно сказать из-за этого ли. Походу сейчас у многих проблемы. 

То есть смысла никакого нет, в том, чтобы блокировать то что заблокировали хостеры?

Написал хостерам об этом. Они сделали вот что:

Добавил блокировку со стороны nginx по referer "api.pfbaza.website", путём создания конфигурационного файла с условием: /etc/nginx/vhosts-includes/referer_block.conf

верно ли?

Всего: 753