Подскажите, что мне делать. Не надо только на меня агрится, я никому, ничего плохого не делал (хоть и мог)
Я сам занимаюсь, как вы говорите "ботоводством", но кручу только себе в плюс. Я прекрасно понимаю, как вам херачат отказы (делал ради интереса таких ботов), я хочу на этом заработать, могу нивелировать такой траф за счёт своих, качественных ботов. Стоит ли выдвигать такие услуги или это зашквар?
Ботовод ты наш заморощенный:«пока плохого не делал», «делал ради интереса таких ботов», «могу нивелировать такой траф за счёт своих, качественных ботов». Реклама?
Здесь чел утверждает, что может бороться с этойнапастью, но естественно забабосы(byazrov.ru/boti-iz-soc-setej-v-metrike/ Есть интересные выкладки, корочеюзайте.
Алеандр#: Понизит, вероятнее всего. Банить по IP вообще гиблое дело, если это не левые подсети хостеров. Живые адреса кидать в блок лист - это путь в никуда.
Да нет же это ВРЕМЕННАЯ мера, замечено что активность ботов в этом диапазоне со временем падает. Вот поэтому блокирую одну из сеток максимум на два дня) Идут новые, блокирую и так далее. Уточню, что борюсь с прямыми заходами, а так, для каждого сайта все индивидуально)
Помогает, но появляются новые сетки ботов. Короче нудное дело метрику просматривать, но в среднем паразитов меньше. А реально при большем наплыве это метод геморой(
baan2003: Почему в обновлении писка не стали показывать какие страницы удалили и
какие проиндексировали удаленная одна к примеру а какая догоняй сам? кубик синий кубик зеленый а страниц не указано как раньше.
На счет индексации фото. почему обычный формат jpg робот считает в последнее
время Не поддерживаемый формат или Статус неизвестен. проверяешь ответ сервера все идеально.
Много качественных фото формат jpg выкидывает из поиска. Фото в гугле продаваемых нами товаров индексируется и там их в 4 раза больше.
в чем причина. все фото сжаты прогой гугла уменьшены как положено. фото залито одновременно с товаром. сжаты одинаково формат един. одно пропускает второе формат неизвестен, как такое бывает???
BillyBoy: Никого не призываю, но я в свое время решил вопрос радикально. Перешел на чистый HTML, уже более полутора лет не использую WP и базы данных. Понятно, что мягко говоря не всем такое решение подходит. Но мне подошло, сетка из небольших по объему сайтов. И за одно всего этого геммороя лишился с бэкапами и.т.д. Как wordpress не настраивай - против чистого HTML он всегда будет медленным.
Поддерживаю, уже как пять годков, полет нормальный )))
Ботовод ты наш заморощенный: «пока плохого не делал», «делал ради интереса таких ботов», «могу нивелировать такой траф за счёт своих, качественных ботов». Реклама?
Сегодня, что-то боты на одном ресурсе сменили ориентацию, ботать стали в плюс. Что за лихорадка? В минус не сработало? 😊
Понизит, вероятнее всего. Банить по IP вообще гиблое дело, если это не левые подсети хостеров. Живые адреса кидать в блок лист - это путь в никуда.
Да нет же это ВРЕМЕННАЯ мера, замечено что активность ботов в этом диапазоне со временем падает. Вот поэтому блокирую одну из сеток максимум на два дня) Идут новые, блокирую и так далее. Уточню, что борюсь с прямыми заходами, а так, для каждого сайта все индивидуально)
Странный у вас способ однако для каждого айпишника отдельную директиву писать ) А так не пробовали?
Order Allow,Deny
Allow from all
Deny from 80.95.44.78 94.181.167.131 95.152.62.125 и далее все ваши...
Проверено - работает )
На всякий случай спрошу: вы в курсе, что вместе с ботами через такую обширную сеть айпишников вы отсекаете живых ни в чем не повинных посетителей?
Попробую )
В курсе )
И как, помогает?
Помогает, но появляются новые сетки ботов. Короче нудное дело метрику просматривать, но в среднем паразитов меньше. А реально при большем наплыве это метод геморой(
Я временно блочу этих. Может кому пригодится по хозяйству)
<Limit GET HEAD POST>
order allow,deny
allow from all
deny from 80.95.44.78
deny from 94.181.167.131
deny from 95.152.62.125
deny from 185.90.61.101
deny from 94.45.138.191
deny from 95.152.42.253
deny from 93.124.122.81
deny from 80.95.44.66
deny from 80.95.44.47
deny from 95.152.0.79
deny from 46.172.18.101
deny from 5.188.210.53
deny from 46.29.219.146
deny from 178.137.16.64
deny from 89.111.34.211
deny from 90.188.255.142
deny from 46.172.18.89
deny from 188.114.53.0
deny from 46.172.18.186
deny from 178.137.16.151
deny from 176.100.188.105
deny from 178.159.37.63
deny from 178.214.254.234
deny from 46.172.18.19
deny from 51.15.198.132
deny from 178.204.108.240
deny from 31.202.23.232
deny from 95.84.254.164
deny from 91.241.172.28
deny from 91.79.154.133
deny from 93.188.34.197
deny from 37.113.51.7
deny from 173.232.146.222
deny from 85.208.3.18
deny from 45.83.91.98
deny from 37.112.170.213
deny from 45.74.46.194
deny from 176.226.152.92
deny from 45.115.26.102
deny from 46.188.98.10
deny from 94.242.54.22
deny from 176.226.176.193
deny from 188.72.119.144
deny from 5.62.18.0/24
deny from 104.250.177.0/24
deny from 176.119.109.0/24
deny from 82.162.121.108
deny from 95.213.184.236
deny from 176.213.153.63
deny from 176.213.151.246
deny from 176.213.152.96
deny from 95.73.34.84
deny from 37.112.170.77
deny from 130.0.56.0/21
deny from 128.68.104.30
deny from 95.214.43.125
deny from 195.138.80.190
deny from 31.173.80.0/21
deny from 31.173.0.0/18
deny from 78.159.96.0/21
deny from 114.119.128.0/18
deny from 207.244.192.0/18
deny from 216.244.64.0/19
deny from 178.176.64.0/19
deny from 188.170.192.0/20
deny from 176.59.32.0/19
deny from 176.59.64.0/19
deny from 176.59.0.0/19
deny from 176.59.96.0/19
deny from 176.59.48.0/22
deny from 87.229.242.128/25
deny from 83.220.236.0/22
deny from 94.25.168.0/21
deny from 85.140.0.0/21
deny from 188.170.64.0/19
deny from 217.118.95.0/24
deny from 87.229.224.0/19
deny from 83.169.216.0/24
deny from 85.140.0.0/21
deny from 178.176.96.0/24
deny from 178.176.72.0/21
deny from 188.170.72.0/21
deny from 94.25.228.0/23
deny from 83.149.21.0/24
deny from 213.87.128.0/19
deny from 176.59.36.0/22
deny from 31.173.103.0/24
deny from 213.87.128.0/19
deny from 188.65.244.0/24
deny from 91.193.176.0/22
deny from 217.66.152.0/21
deny from 89.113.136.0/21
deny from 85.26.164.0/23
deny from 89.113.127.0/24
deny from 31.173.242.0/23
deny from 178.176.176.0/21
deny from 217.118.76.0/24
deny from 83.149.44.0/23
deny from 83.149.19.0/24
deny from 31.173.120.0/24
deny from 178.176.217.0/24
deny from 85.249.160.0/20
deny from 85.26.184.0/22
</Limit>
Но а этих сам Бог велел)
# BEGIN Bad Bot Blocker
SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|Aport|asterias|Baiduspider|BDCbot|Birubot|BLEXBot|BUbiNG|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|ca\-crawler|CamontSpider|CCBot|Cegbfeieh|CheeseBot|CherryPicker|coccoc|CopyRightCheck|cosmos|crawler|Crescent|CyotekWebCopy/1\.7|CyotekHTTP/2\.0|DeuSu|discobot|DittoSpyder|DnyzBot|DomainCrawler|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Ezooms|FairShare|Fasterfox|FeedBooster|Foobot|Genieo|GetIntent\ Crawler|Gigabot|gold\ crawler|GrapeshotCrawler|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|HybridBot|ia_archiver|ieautodiscovery|Incutio|InfoNaviRobot|InternetSeer|IstellaBot|Java|Java/1\.|JamesBOT|JennyBot|JS-Kit|k2spider|Kenjin Spider|Keyword Density/0\.9|kmSearchBot|larbin|LexiBot|libWeb|libwww|Linguee|LinkExchanger|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|lmspider|LNSpiderguy|ltx71|lwp-trivial|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|memoryBot|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|MLBot|moget|MSIECrawler|msnbot|msnbot-media|NetAnts|NICErsPRO|Niki\-Bot|NjuiceBot|NPBot|Nutch|Offline Explorer|OLEcrawler|Openfind|panscient\.com|PostRank|ProPowerBot/2\.14|ProWebWalker|ptd-crawler|Purebot|PycURL|Python\-urllib|QueryN Metasearch|RepoMonkey|Riddler|RMA|Scrapy|SemrushBot|serf|SeznamBot|SISTRIX|SiteBot|sitecheck\.Internetseer\.com|SiteSnagger|Serpstat|Slurp|SnapPreviewBot|Sogou|Soup|SpankBot|spanner|spbot|Spinn3r|SpyFu|suggybot|SurveyBot|suzuran|SWeb|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|ttCrawler|turingos|TurnitinBot|UbiCrawler|UnisterBot|Unknown|uptime files|URLy Warning|User-Agent|VCI|Vedma|Voyager|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wget|WordPress|Wotbox|wsr\-agent|WWW\-Collector\-E|Yeti|YottosBot|Zao|Zeus|ZyBORG" bad_bot
Deny from env=bad_bot
# END Bad Bot Blocker
Почему в обновлении писка не стали показывать какие страницы удалили и
какие проиндексировали удаленная одна к примеру а какая догоняй сам? кубик синий кубик зеленый а страниц не указано как раньше.
На счет индексации фото. почему обычный формат jpg робот считает в последнее
время Не поддерживаемый формат или Статус неизвестен. проверяешь ответ сервера все идеально.
Много качественных фото формат jpg выкидывает из поиска. Фото в гугле продаваемых нами товаров индексируется и там их в 4 раза больше.
в чем причина. все фото сжаты прогой гугла уменьшены как положено. фото залито одновременно с товаром. сжаты одинаково формат един. одно пропускает второе формат неизвестен, как такое бывает???
Бывает, ещё как бывает… Копайте глубже, сэр.
Никого не призываю, но я в свое время решил вопрос радикально. Перешел на чистый HTML, уже более полутора лет не использую WP и базы данных. Понятно, что мягко говоря не всем такое решение подходит. Но мне подошло, сетка из небольших по объему сайтов. И за одно всего этого геммороя лишился с бэкапами и.т.д. Как wordpress не настраивай - против чистого HTML он всегда будет медленным.
Поддерживаю, уже как пять годков, полет нормальный )))
Тоже просел сайт (услуги) за три дня в минус. По некоторым ВЧ СЧ в топе больше двух 2 лет. Надеюсь на глюк.😡