- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Настраиваю nginx для блокировки всяких ботов. Задумался о том, чтобы не заблокировать полезных ботов и другие нужные сервисы.
Что нужно добавить в исключения, чтобы случайно не заблокировать?
Если есть конкретные списки ip, прикладывайте, не стесняйтесь. Всем спасибо.
Вы сначала уточните, про какой именно вид ботов идет речь.
Вы сначала уточните, про какой именно вид ботов идет речь.
Любые. Яндекс, гугл, бинг, ахрефс, чекеры всякие, пинг админы и так далее.
Абсолютно все.
Потыкал нейронку на этот счет. Где взять IP-адреса хороших ботов?
- Google: https://developers.google.com/search/apis/ip-addresses - Bing: https://www.bing.com/toolbox/bingbot.json - Yandex: https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html (ищите IP-адреса) - DuckDuckGo: они используют Bingbot, так что те же IP? Но также есть свой бот: DuckDuckBot. Официально: https://duckduckgo.com/duckduckbot - Applebot: https://support.apple.com/en-us/HT204683 - Baidu: http://help.baidu.com/question?prod_en=master&class=1&id=1000973 (на китайском, но можно найти IP) - Facebook: https://developers.facebook.com/docs/sharing/webmasters/crawler/ Также полезные сервисы: - Мониторинг: UptimeRobot, Pingdom, NewRelic и т.д. (они обычно предоставляют список IP)Но важно: IP-адреса могут меняться, поэтому нужно периодически обновлять.
Альтернатива: использовать DNS запросы для проверки, что IP действительно принадлежит боту (например, для Googlebot можно сделать обратный DNS-запрос и проверить, что имя хоста заканчивается на googlebot.com). Однако, в конфигурации nginx мы не можем делать DNS-запросы на лету.
Настраиваю nginx для блокировки всяких ботов
RewriteCond %{HTTP_USER_AGENT} l9scan|aiohttp|Telegram|WhatsApp|Exabot|Google%20AdWords%20Robot|Chrome%20Privacy%20Preserving%20Prefetch%20Proxy|Buck|scalaj-http|Google-Apps-Script|Thinkbot|Linkfluence%20Yak%20Bot|IAS%20Crawler|Coccocbot|netEstate%20NE%20Crawler|Flyriverbot|AwarioBot|CMS-Checker|Apache-HttpClient|WebartexBot|PerplexityBot|Perplexity-User|Fuzz%20Faster%20U%20Fool|vkShare|Fast-Webcrawler|SeznamBot|VelenPublicWebCrawler|ALittle|InternetMeasurement|Hogwarts|PubMatic%20Crawler%20Bot|Go-http-client|SeopultContentAnalyzer|Mediatoolkitbot|OI-Crawler|Baidu|CensysInspect|WebMeUp|Apple%20Web%20Crawler|Slackbot|Slack-ImgProxy|Linkfluence|Yetibot|DataForSeoBot|DataForSeoBot|ByteDance|GPTBot|bidswitchbot|ChatGPT|OAI-SearchBot|keys-so-bot|ClaudeBot|DotBot|MJ12bot|LinkCheckerBot|TikTokSpider|Amazon|GetIntent|SemrushBot|Twitterbot|PetalBot|VKRobotRB|FaceBook|BrightEdge|Gaislab|AhrefsBot|Archive [NC]
Настраиваю nginx для блокировки всяких ботов. Задумался о том, чтобы не заблокировать полезных ботов и другие нужные сервисы. Что нужно добавить в исключения, чтобы случайно не заблокировать?
Вы неправильно думаете, надо не запрещать по умолчанию, а позволять по умолчанию, и список не позволений, а запретов, причём временный, только для тех роботов, которые слишком сильно нагружают машину. Иначе запретите много полезных сервисов, с которых могут даром приходить интересные люди, заманить которых другими способами не получится. Если очень постараетесь, то можете удачно запретить тайных роботов популярных искалок, которые могут приходить с любых IP с любыми user agent, чтобы проверять cloaking, и другие хитрости, а потом будете жаловаться, что пропала посещаемость с популярных искалок.
Потыкал нейронку на этот счет.
Хорошо, что уточнили. Половина ссылок нерабочие, но некоторые пригодились. Спасибо.
RewriteCond
То, что nginx вас не смущает? Ну это ладно, переписать можно.
Но проблема в другом - надо именно ip-шники. Юзерагент можно подделать, это не надежно.
Вы неправильно думаете
У меня свои причуды. Этот список будет как перестраховка. Никто не собирается всех блочить.
Но за замечание спасибо. Кому-нибудь пригодится.
Вконтакте, одноклассников, mail ru
Это одно и то же.
https://bgp.tools/as/47541#prefixes
https://bgp.tools/as/47764#prefixes
https://bgp.tools/as/28709#prefixes
https://bgp.tools/as/47541#prefixes
https://bgp.tools/as/47764#prefixes
https://bgp.tools/as/28709#prefixes