Яндекс и Cloudflare

12
Каширин
На сайте с 03.01.2004
Offline
1018
8109

Используем cloudflare (CF) на одном нагруженном сайте, робот Яндекса получает иногда от него заголовок visit Website, что целям SEO мало соответствует. Такой заголовок даже выползает в выдаче. Появилась мысль добавить правило для Яндекса, но так как CF не дает возможности создавать правила по юзер-агенту ("так как их можно фальсифицировать" - пишут они в своем официальном твиттере), а только по IP либо маске IP. Однако во-первых, IP роботов меняются, во-вторых, все списки их IP в сети довольно старые.

Если ли какие-то другие способы дать CF пропускать роботов Яндекса прямо на сервер, минуя firewall?

Оптимизайка
На сайте с 11.03.2012
Offline
396
#1
Каширин:
Однако во-первых, IP роботов меняются

You can add whole Yandex Enterprise network to whitelist:

http://bgp.he.net/AS13238#_prefixes

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
ViZed
На сайте с 25.02.2012
Offline
94
#2

Интересно. У меня из поиска Яндекса повылетали сайты. Они как раз используют Cloudflare. Может ли причина быть в этом?

Каширин
На сайте с 03.01.2004
Offline
1018
#3

Оптимизайка, wow, by ASN - good decision. Thank you!

---------- Добавлено 02.03.2017 в 11:13 ----------

ViZed:
Интересно. У меня из поиска Яндекса повылетали сайты. Они как раз используют Cloudflare. Может ли причина быть в этом?
Вне всякого сомнения.
ViZed
На сайте с 25.02.2012
Offline
94
#4

Каширин, Оптимизайка, а как добавить в белый лист IP Яндекса?

Каширин
На сайте с 03.01.2004
Offline
1018
#5

ViZed, Firewall -> Access Rules.

ViZed
На сайте с 25.02.2012
Offline
94
#6

Каширин, это нужно по отдельности каждый IP-адрес с этого сайта вставить в поле ввода IP-адреса на Cloudflare -> Firewall -> Access Rules ??? Всё верно я понял? Всё верно на картинке?

JQ
На сайте с 12.10.2011
Offline
62
JNQ
#7

В тематике, которой я работал в прошлом году так же были очень много сайтов c CL. Так вот, те, у кого стоит их загрузочный экран явно понижались позиции. Все, кто сидит в топе с CL у них нету загрузочного экрана.

Вывод => уберите этот экран и радуйтесь жизни.

ViZed
На сайте с 25.02.2012
Offline
94
#8

О каком загрузочном экране речь? Firewall?

А проблема может быть в том, что опция "Security Level" у меня включена в положение Medium? Может стоит переключить на Essentially Off?

Оптимизайка
На сайте с 11.03.2012
Offline
396
#9
ViZed:
Каширин, это нужно по отдельности каждый IP-адрес

No, just add AS13238 to whitelist.

ViZed
На сайте с 25.02.2012
Offline
94
#10

Оптимизайка, то есть, можно в поле ввода IP на Clodflare ввести "AS13238" и добавить в Whitelist, как на картинке выше? Этого будет достаточно?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий