Automaster

Рейтинг
130
Регистрация
15.03.2008
sagamorr #:
А какая именно ошибка в Я вебмастере?
Найдены страницы-дубли с GET-параметрами
Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.


В общем, ругается на get-параметр __cf_chl_tk

У меня в Яндекс Вебмастер прилетела критическая ошибка. Когда CF блокирует ботов, то отдаёт страницы с Get параметрами вида __cf_chl_tk.  Подскажите, как от них избавиться, вносил данный параметр в роботс.ткст, чтобы он не обходил, но не помогает избавиться от ошибки. Также выключил обход страниц по Метрике.
Вот такую наблюдаю картину. На сайт очень много заходов с 2001:4860:7::/48 (IPV6) или 72.14.201.XXX (IPV4). И как бы все они принадлежат к подсети AS15169 - а она принадлежит Гуглу. Но что-то не похожи они на реальных людей. В логах я их вижу, и их очень даже много - просто огромное количество. А вот в Вебвизоре так и не смог их найти. Похожи на ботов, которые иммитируют заходы с Гугл. Что с ними делать, кто с ними сталкивался. И как заблокировать подсеть IP адресов IP 72.14.201.XXX - это будет правильно 72.14.201.0/24 ?
RomarioSpirtberg #:

Можно ещё способом, указанным в этой статье.

Да, это тоже вариант.
LEOnidUKG #:

оу! Эт конечно интересно, но передавать через сторонние сервисы API ключи от своих доменов, ну это такое себе.

Поменял в CF ключи от доменов для подстраховки. Спасибо за подсказку.
LEOnidUKG #:

Да, единственный. Я команду на VDS быстренько выполняю :) Да даже на хостинге если есть SSH её можно выполнить.

Я нашел другое решение. Сделал через сайт https://keyof.ru/
LEOnidUKG #:

Отключить v6 можно только через API CF по другому никак. Надо сделать туда POST запрос 

curl -X PATCH "https://api.cloudflare.com/client/v4/zones/КОД_ЗОНЫ/settings/ipv6" -H "X-Auth-Email: ПОЧТА" -H "X-Auth-Key: КЛЮЧ_API" -H "Content-Type: application/json" --data "{\"value\":\"off\"}"


А это единственный способ? У меня какие-то проблемы с Windows, команда "curl" не проходит. Вот зараза...

Подскажите, как удалить заходы с IPV6 ? До установки CF судя по логам сервера не было ни одного захода с IPV6 (сервер не поддерживал данный протокол). А после стали установки стали проходить. Все записи АААА из домена удалены. Т.е. это в самой настройке CF, который их пропускает.
sagamorr #:

Есть пруф, что боты мейл.ру в белом списке или вы так предполагаете только?

Я удалил мэйл.ру из отдельного правила, где know bots. И всё равно он заходит на сайт, что видно по логам. А тут в соседней теме на форуме пишут, что "мыло" уже сменилось на яндекс и теперь такого отдельного поиска нет. Так что думаю, что пора уже добавлять мэйл.ру к плохим роботам, чтобы не заходил на сайт и не создавал лишнюю нагрузку.

KeicH2O #:

Парни как быть? 

Поменять файл wp-login.php на другое название. И CF не нужен.

Всего: 308