Это Вы так решили?) На многих проектах закрываю карту для обычных юзеров.
Я такого же мнения, что и ТС. Карта и другие системные разделы (для ПС) должны быть закрыты и быть только для ПС.
Ставите клауд, делаете правило для пропуска хороших ботов (по мнению клауда). Собираете логи.Смотрите логи, AS сети Ваших поисковиков. Делаете правило чтобы sitemap был доступен только с этих сетей.
Все настраивается клаудом или другим решением в 2-3 правила.
Все верно. Это как-бы логично.Но как выше написал тот же Антоний, они спарсят те же фиды, пройдутся по ссылкам, Screaming Frog тот же запустят или аналогичный софт, и так далее.Т.е. просто блокировкой карты тут не отделаться, это полумера.Да и вы выше то же самое топикстартеру написали. Что если захотят - спарсят.
Ну там можно заморочиться, извратиться, настрогать правил что всем 503 или еще какая ошибка если это не AS гуглояндексов, и проч. Тем же Cloudflare.
Но как и написали выше, это борьба с ветряными мельницами, если у вас на сайте проходной двор, и на сайте не переставая пасется миллион сканеров и проч, которое вы никак не ограничиваете.
Я сейчас тоже попробовал зайти через оперу с ВПН и без него. Я также попадаю на 404 страницу, ходя в настройках правила страница contacts указана (на скриншоте). Вот поэтому и задаю снова вопрос почему при блокировке в клауде боты попадают на 404 страницу. Мне это тоже не понятно.
Потому что вам четко сказали, что именно нужно делать. А вы сделали ровно наоборот, как я и написал выше. Мол, а чётакова? Чуть разбавил прибавил подправил.А потом еще и удивляетесь, почему это они такие все злые и снова тыкают носом в готовую инструкцию, и не понимают откуда крики про то что эта инструкция не работает.Читаем ваше правило дословно:
1. Блокировать, если это переход по HTTP1 из подсети яндекс.Блок для яндекса по протоколу.
2. Блокировать, если это прямой заход с подсети яндекс.Это еще одна мешанина где блокируется яндекс, если это прямой заход.1. Блокировать, если страница контакты, прямой заход и подсети такие-то (яндекс).Похоже на блок прямых заходов для ботов? Нет, это блок прямых заходов бота яндекса. Тогда возникает вопрос, зачем вообще это правило нужно, если есть более широкое, с той же блокировкой прямых заходов, выше.
Т.е. здесь есть всё, кроме того, что вам сказали сделать. Вам кто-то говорил, что сюда именно в таком виде нужно приплести яндекс? Еще и блок яндекса, а не исключение. И взаимоисключающая мешанина.
Вот и ответ на вопрос. Не нужно никакой самодеятельности в том, в чем вы не смогли разобраться. Оно не работает из-за вашей мешанины абы чего не понимая зачем всего в кучу. А потом и рождаются все эти категоричные беспочвенные утверждения, что отстой этот ваш клауд, не работает, не фильтрует и проч. У вас всего 3 самых простейших правила. Три. А уже столько косяков.
Так вот меня интересует, как именно это можно сделать?
Зачем спрашивать все то же самое по новой? Тогда уже выкладывайте ссылку на свой швейный ZигZаг, и пусть все желающие сходят на сайт и дают советы, а не гадают что вы там не так сделали.
Вам уже несколько раз, на протяжении многих страниц, начиная вот отсюда, все расписали. Вы сделали все ровно наоборот, и снова спрашиваете одно и то-же, по кругу.https://searchengines.guru/ru/forum/1075193/page51#comment_16933147
Теперь хочу заблочить полностью racktech, 160 строк - начинают лезть.
Да без проблем.https://asn.ipinfo.app/api/text/htaccess/AS204916
Чел вроде всю их сетку собрал.
Чел просто скопировал в другом месте.Вот прямая ссылка на актуальный обновляемый файл.https://asn.ipinfo.app/api/text/htaccess/AS35048
Racktech я пока не блокировал, собираюсь - они пока мало докучают, 2-3 визита.
Понял.Я почему интересуюсь. Если полноценно забанить в правилах десятка два-три подсетей целиком (это допустим 1-2 тысячи строк для htaccess), и продвигаться дальше, то рано или поздно начнет проявляться перегрузка Apache.Вот и хотелось узнать со стороны, от тех кто активно наполняет, в какой момент это становится ощутимым.
У меня одной только битерики 225 строк
+ штук сорок своих, которых в метрике ловлю и проверяю
Ну так я и хотел узнать, именно строк уже сколько суммарно.Всего 300 штук?И почему, если та же Racktech - это 128 строчек для htaccess. А различных подсетей у вас же целая куча, что-то не сходится.
Не считал - вся битерика + еще штук 40
Да - по 4ому пошли, видимо выдыхаются ))
Там же в блокнотах / notepad+ и проч строки подписаны, сразу видно количество.Ну т.е. вносите в правила только тот диапазон, что вам попался на глаза, правильно понял? И суммарно там всего 40 строчек? (за вычетом битерики)А не все сотни диапазонов конкретной подсети.Или речь про 40 отдельных подсетей, по которым настроены ограничения.
