alexverem

Рейтинг
229
Регистрация
12.10.2011

Мануалов много разных по фильтрации ботов в интернете, они разной свежести и адекватности )

Может кто сможет кинуть ссылочку на последние наработки, или может на страницу в этом топике, где они описаны..

Начал процесс фильтрации ботов через CF, лучше поздно чем никогда )

Читаю топик, буду делать постепенно. Через API отключил  поддержку IPv6.

Последние несколько страниц топика были немного о другом, поэтому уточняю..  этот шаг по прежнему актуальный?

То есть по прежнем большинство ботов работают на IPv6 и реальные пользователи не будут отрезаны, то есть будет для них задействован  IPv4?

Антоний Казанский #:

Clean-param: placeid&monthid


Проверяйте результативность настройки в Вебмастере -> Анализ robots.txt -> Разрешены ли URL?


Спасибо большое! Проверил, добавил. Через сколько примерно яндекс выкинет из индекса дубли?

Антоний Казанский #:
Настраивайте Clean-param, чтобы Яндекс игнорировали его и не учитывал доп. страницы с этим параметром, иначе они так и будут гулять в индексе туда-сюда.

Если мне нужно для всех урл на сайте не учитывать placeid и monthid, то что в robots нужно поместить?

То есть для таких урл:

site/kitaj/mart/?placeid=kitaj&monthid=3

site/kitaj/?placeid=kitaj

site/spain/mart/?placeid= spain &monthid=3

site/spain /?placeid= spain

И так далее..

То есть пути могут быть разные, но где бы не встречался placeid или monthid их не нужно учитывать

Предположу:

User-agent: Yandex
Clean-param: placeid /*
Clean-param: monthid /*

Хотя возможно нужны звездочки для шаблонов для того чтобы учитывались вложенные пути?

User-agent: Yandex
Clean-param: placeid /*/
Clean-param: placeid /*/
*/
Clean-param: monthid /*/
Clean-param: monthid /*/
*/

В яндекс примерах просто не нашел аналогичного случая (yandex.ru/support/webmaster/robot-workings/clean-param.html).. 

Антоний Казанский #:
сайт отдаёт что-либо, кроме 404 страницы, то надо разбираться с настройкой 404 адресов.

отдает 404, значит ничего не надо делать, ок спасибо

Махмуд Аббас #:

Можешь в роботсе прописать что-нибудь вроде

А по поводу странных урлов. Они какой код отдают? 404? Такие могут появляться от подклеек, например.

Да 404.. 

Почитал про подклейки, в основном я так понял это делают при получении дропдоменов..

или злоумышленники тоже занимаются? чего они добиваются и что мне можно сделать?

Vladimir #:
Хостер, который лезет в htaccess, это не хостер. Если вносит исправления, по незнанию, тем более...
1. редирект 301
2. проверять сайт на взлом

Проверку на взлом с чего стоит начать? С поиском последний измененных файлов? Что-то еще?

Vladimir #:
Хостер, который лезет в htaccess, это не хостер. Если вносит исправления, по незнанию, тем более...
1. редирект 301
2. проверять сайт на взлом

Редирект такой правильный? 

RewriteCond %{QUERY_STRING} !=""
RewriteRule ^(.*)$ /$1? [R=301,L]

Кто нибудь может подсказать? То есть все что с параметрами страницы направляем на такую же без параметров

Delysid #:

Under Attack это не капча. Капча это Interactive Challenge. 😄

Under Attack включает Managed Challenge, что включает Super Bot Fight Mode что включает автоматику и

Cloudflare начинает выдать чтобы "поставить галочку" для вероятно определенного автоматизированного» и вероятно автоматизированного трафика. 😁

Under Attack может отключать настройки WAF.

Under Attack это быстрая кнопка, чтобы не лёг сайт, чтобы посмотреть логи и потом фильтрануть атаку создав правила WAF.

ясно, значит галочку похоже только для определнных стран нельзя настроить..

Кто нибудь знает, можно ли настроить CloudFlare, чтобы в режиме Under Atack капча поялалась только для некоторых стран? Или, напр, для всех кроме России?
Всего: 996