Disallow: /wp-includes
тоже можете убрать.
Disallow: /wp-content/cache
Этот я бы оставил, т.к не известно мне в каком формате хранится кэш.
Факторов ранжирования много.
Можете написать домен в ЛС, сделаю маленький аудит сайта и отпишусь.
Зависит от шаблона.
Возможно нужно менять в файлах перевода темы.
Возможно в настройках темы
Или же в самом шаблоне менять.
У Вас залит шел на сайте, который и делает на нем все что угодно.
Попробуйте проверить ай-болитом, как писали выше.
Если не получится, пишите в ЛС.
Постараюсь подсказать более подробно.
Убери из списка следующие правила
Disallow: /wp-content/plugins Disallow: /wp-content/themes
Проверить сайт или страницы оптимизированность под мобильную версию можно тут
Просканируйте сайт на наличие вредоносных скриптов с использованием AI-Bolit
Также проверьте файл .htaccess на подозрительные строки.
Напиши движок который стоит.
Так будет проще тебе подсказать код.
Но если используете хотите простой код, то
if ($_SERVER['REQUEST_URI'] == "/") { print 'Мы на главной; }
Дальше вместо / прописывайте папки или файлы на сайте.
Просто соедини их и вставляй в основной файл site.ru/robots.txt
User-agent: *Disallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: /forum/faq.phpDisallow: /forum/mcp.phpDisallow: /forum/memberlist.phpDisallow: /forum/posting.phpDisallow: /forum/report.phpDisallow: /forum/search.phpDisallow: /forum/style.phpDisallow: /forum/ucp.phpDisallow: /forum/viewtopic.php?p=*Disallow: /forum/viewtopic.php?f=*&t=*&start=0$Disallow: /forum/viewtopic.php?f=*&t=*&view=nextDisallow: /forum/viewtopic.php?f=*&t=*&view=previousSitemap: site.ru/sitemap.xmlSitemap: site.ru/forum/sitemap.phpClean-param: sid /forum/index.phpClean-param: sid /forum/viewforum.phpClean-param: sid /forum/viewtopic.php User-agent: YandexDisallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /forum/faq.phpDisallow: /forum/mcp.phpDisallow: /forum/memberlist.phpDisallow: /forum/posting.phpDisallow: /forum/report.phpDisallow: /forum/search.phpDisallow: /forum/style.php Disallow: /forum/ucp.phpDisallow: /forum/viewtopic.php?p=*Disallow: /forum/viewtopic.php?f=*&t=*&start=0$Disallow: /forum/viewtopic.php?f=*&t=*&view=nextDisallow: /forum/viewtopic.php?f=*&t=*&view=previousClean-param: sid /forum/index.phpClean-param: sid /forum/viewforum.phpClean-param: sid /forum/viewtopic.php Host: site.ruSitemap: site.ru/sitemap.xmlSitemap: site.ru/forum/sitemap.php User-agent: Googlebot-ImageAllow: /wp-content/uploads/ User-agent: YandexImagesAllow: /wp-content/uploads/
Попробуй включить "Принудительная перезапись заголовков" в общих настройках "Заголовки и метаданные - Yoast SEO"
Все делайте сразу.
Составляйте СЯ, затем пишите тексты с учетом перелинковки, мета-тэгов и прочего и наполняйте ими сайт.
