Гугл не видит некоторые страницы сайта

yalol
На сайте с 12.12.2007
Offline
210
385

Всем привет. Недавно писал, что через cloudflare была установлена защита и блокированы страны Германия и США - это убрал, но смотрю по гугл-вебмастеру там все равно доступа к страницам нет. Какие настройки следует посмотреть или вовсе отключить CF?

jpg 41kyjx_du0h9cgs_403.jpg
yalol
На сайте с 12.12.2007
Offline
210
#1
видимо это старая информация. Так как смотрю другие страницы и они есть в индексе, например, за 4 мая - все норм.
jpg 8c6uze_3gnk.jpg
B
На сайте с 26.03.2013
Offline
92
#2
yalol :

Всем привет. Недавно писал, что через cloudflare была установлена защита и блокированы страны Германия и США - это убрал, но смотрю по гугл-вебмастеру там все равно доступа к страницам нет. Какие настройки следует посмотреть или вовсе отключить CF?


Одна из базовых настроек для CF чтобы ПС Я/Г боты сканировали сайт.

Анти ДДОС
На сайте с 14.03.2020
Offline
80
#3
boobi #:


Одна из базовых настроек для CF чтобы ПС Я/Г боты сканировали сайт.

Таким образом не только боты поисковиков будут иметь доступ к сайту, но и целая толпа полезных с точки зрения Клауда ботов: Амазонбот, Ашрефсбот, Клаудибот, Маджестик и прочее, что забьет сервер пачкой бесполезных подключений.

Настройка Cloudflare, поведенческие факторы, АнтиБот, ДДОС, Biterika Rostelecom прямые переходы https://antiddos24.ru
yalol
На сайте с 12.12.2007
Offline
210
#4
Анти ДДОС #:

Таким образом не только боты поисковиков будут иметь доступ к сайту, но и целая толпа полезных с точки зрения Клауда ботов: Амазонбот, Ашрефсбот, Клаудибот, Маджестик и прочее, что забьет сервер пачкой бесполезных подключений.

а как проверить доступен ли сайт для них?

Shelton724
На сайте с 26.05.2011
Offline
263
#5
yalol #:
а как проверить доступен ли сайт для них?

В простом случае просто заменив юзерагента на их, но случаи перестали быть простыми давно, боты нынче ставят юзерагентов кого-то известных. Например, у меня куча попыток заходов со спам-сетей (больше всего, конечно, с битерики) с юзерагентами бота гугла и яндекса. Определить таких ботов можно только через IP. Можно самостоятельно локально собирать и держать в актуальном состоянии базу спам-адресов или пользоваться CF, если лень или нет времени.

Анти ДДОС
На сайте с 14.03.2020
Offline
80
#6
yalol #:

а как проверить доступен ли сайт для них?

В логах access сервера можно посмотреть, что в итоге приходит на сайт.
Если бы читали ветку про Cloudflare, то там обсуждалось это. Выше Skip ставится правило с блоком.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий