Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.
У меня в Яндекс Вебмастер прилетела критическая ошибка. Когда CF блокирует ботов, то отдаёт страницы с Get параметрами вида __cf_chl_tk. Подскажите, как от них избавиться, вносил данный параметр в роботс.ткст, чтобы он не обходил, но не помогает избавиться от ошибки. Также выключил обход страниц по Метрике.
Вот такую наблюдаю картину. На сайт очень много заходов с 2001:4860:7::/48 (IPV6) или 72.14.201.XXX (IPV4). И как бы все они принадлежат к подсети AS15169 - а она принадлежит Гуглу. Но что-то не похожи они на реальных людей. В логах я их вижу, и их очень даже много - просто огромное количество. А вот в Вебвизоре так и не смог их найти. Похожи на ботов, которые иммитируют заходы с Гугл. Что с ними делать, кто с ними сталкивался. И как заблокировать подсеть IP адресов IP 72.14.201.XXX - это будет правильно 72.14.201.0/24 ?
Подскажите, как удалить заходы с IPV6 ? До установки CF судя по логам сервера не было ни одного захода с IPV6 (сервер не поддерживал данный протокол). А после стали установки стали проходить. Все записи АААА из домена удалены. Т.е. это в самой настройке CF, который их пропускает.
Есть пруф, что боты мейл.ру в белом списке или вы так предполагаете только?
Я удалил мэйл.ру из отдельного правила, где know bots. И всё равно он заходит на сайт, что видно по логам. А тут в соседней теме на форуме пишут, что "мыло" уже сменилось на яндекс и теперь такого отдельного поиска нет. Так что думаю, что пора уже добавлять мэйл.ру к плохим роботам, чтобы не заходил на сайт и не создавал лишнюю нагрузку.
А какая именно ошибка в Я вебмастере?
В общем, ругается на get-параметр __cf_chl_tk
Можно ещё способом, указанным в этой статье.
оу! Эт конечно интересно, но передавать через сторонние сервисы API ключи от своих доменов, ну это такое себе.
Да, единственный. Я команду на VDS быстренько выполняю :) Да даже на хостинге если есть SSH её можно выполнить.
Отключить v6 можно только через API CF по другому никак. Надо сделать туда POST запрос
curl -X PATCH "https://api.cloudflare.com/client/v4/zones/КОД_ЗОНЫ/settings/ipv6" -H "X-Auth-Email: ПОЧТА" -H "X-Auth-Key: КЛЮЧ_API" -H "Content-Type: application/json" --data "{\"value\":\"off\"}"
А это единственный способ? У меня какие-то проблемы с Windows, команда "curl" не проходит. Вот зараза...
Есть пруф, что боты мейл.ру в белом списке или вы так предполагаете только?
Я удалил мэйл.ру из отдельного правила, где know bots. И всё равно он заходит на сайт, что видно по логам. А тут в соседней теме на форуме пишут, что "мыло" уже сменилось на яндекс и теперь такого отдельного поиска нет. Так что думаю, что пора уже добавлять мэйл.ру к плохим роботам, чтобы не заходил на сайт и не создавал лишнюю нагрузку.
Парни как быть?
Поменять файл wp-login.php на другое название. И CF не нужен.