artemieknich, а в логах веб сервера их поищите, там их ещё больше :D. Метрика показывает только довольно продвинутых ботов, которые грузят хотя бы картинки или выполняют javascript.
В плане SEO - ну подумайте, смогут ли украденные у вас данные как-то повлиять на это. Особенно если их выложат на сотнях дорвеев.
Блокировать. Если у вас VPS, пишите в личку, могу помочь.
Vitaly2012, значит настройки виртуальных хостов разные, в одном сайте есть HostnameLookups а в другом нет, а валится все в один лог. См. .htaccess'ы, там могут переопределяться настройки основного конфига апача.
Vitaly2012, потому что не у всех ip прописан PTR.
Отключили бы вообще эту фичу (HostnameLookups Off), это же здорово затормаживает работу, каждый ip апачу разрезолвить нужно.
Так в cloudflare есть кеширование свое собственное, зачем кеш для кеша?
Наверное нет плагина для бэкапа 🤪
По сайтмапу на каждый субдомен, а если страниц > 50000, то этот сайтмап должен быть индексом, соддержащий ссылки на сайтмапы с разбитием по 50000 урлов.
Dram, для контроля целостности файлов лучше использовать специализированные инструменты, например aide или ossec
autoschrott, а в "уникальной структуре портала" действительно между site и com стоит двоеточие а не точка? ;)
Akselbrandt, блокируйте аккаунт "рекламодателя", они заливают эту дрянь пачками. По одному рука устанет :D
Ненене, хардфорков достаточно. Раньше в "инфопродуктах" было весело, а теперь приходится в два топика ходить, а вы еще третий собираетесь делать?
baas, Если вам нужно проверить, настоящий ли поисковый бот или нет, то правильно делать не так. Google, Yandex, Microsoft и другие поисковики рекомендуют сначала преобразовать ip в имя хоста (для каждой ПС он будет в определенном формате), а полученный хост обратно в ip и сверить с оригинальным.
Есть определенные адреса подсетей поисковиков, откуда они приходят, но это всё может меняться со временем.
Проверка по принадлежности к сетевому диапазону компаний ненадежна, т.к. у них у всех есть облачные сервисы и масса псевдоботов ходят из microsoft azure например под видом bingbot'а.
Если свой сайт защитить от парсинга хотите, пишите в личку, могу помочь.
