robots.txt в Google Search Console

SAW2
На сайте с 11.02.2008
Offline
148
52

Доброго времени суток! Столкнулся с проблемой отказа от индексации Гуглом трети моих сайтов. В Google Search Console упорно пишет "Заблокировано в файле robots.txt" не смотря на то что на сервере нет файла robots.txt. Блоги на wordpress и на сколько я знаю wordpress не создает сам этот файл. Сайт работает через Cloudflare. 

Глянул по адресу myblog.net/robots.txt ... И произошло чудо - файл открылся:

User-agent: *

Content-Signal: search=yes,ai-train=no,use=reference

Allow: /

User-agent: Amazonbot

Disallow: /

User-agent: Applebot-Extended

Disallow: /

User-agent: Bytespider

Disallow: /

User-agent: CCBot

Disallow: /

User-agent: ClaudeBot

Disallow: /

User-agent: CloudflareBrowserRenderingCrawler

Disallow: /

User-agent: Google-Extended

Disallow: /

User-agent: GPTBot

Disallow: /

User-agent: meta-externalagent

Disallow: /

# END Cloudflare Managed Content

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://myblog.net/wp-sitemap.xml

Судя по записям упоминающим Cloudflare понял что запрещена индексация на уровне того же Cloudflare. Вопрос - как это исправить?

А
На сайте с 09.10.2013
Offline
134
#1
SAW2 :
Судя по записям упоминающим Cloudflare понял что запрещена индексация на уровне того же Cloudflare. Вопрос - как это исправить?
Посмотреть настройки Cloudflare? 
Vladimir SEO
На сайте с 19.10.2011
Offline
2158
#2
SAW2 :

Судя по записям упоминающим Cloudflare понял что запрещена индексация на уровне того же Cloudflare. Вопрос - как это исправить?

отрубить клауд и проверить - дерзайте

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий