Форум Поисковые системы Агрегаторы и доски объявлений

robots.txt для wordpress

TC
На сайте с 14.11.2025
Offline
0
TurboCafe
73

Доброго дня всем.

Буду благодарен уважаемым гуру за подсказку.

Есть доска объявлений на WP

результаты в выдаче не оч радовали, хотя прописываю каждое объявление  вручную в Yoast SEO


полез править robots.txt

но стало еще хуже по-моему.

Видимо что-то там неправильно сделал (

Посмотрите пожалуйста,

подскажите что поправить можно.

Заранее благодарен.

Текст robots ниже




User-agent: *                   # Создаем секцию правил для роботов. * значит для всех

# роботов. Чтобы указать секцию правил для отдельного

# робота, вместо * укажите его имя: GoogleBot, Yandex.

Disallow: /cgi-bin              # Стандартная папка на хостинге.

Disallow: /wp-admin/            # Закрываем админку.

Allow: /wp-admin/admin-ajax.php # Откроем аякс.

Disallow: /?                    # Все параметры запроса на главной.

Disallow: *?s=                  # Поиск.

Disallow: *&s=                  # Поиск.

Disallow: /search               # Поиск.

Disallow: /author/              # Архив автора.

Disallow: */embed$              # Все встраивания.

Disallow: */xmlrpc.php          # Файл WordPress API

Disallow: *utm*=                # Ссылки с utm-метками

Disallow: *openstat=            # Ссылки с метками openstat

Allow: */wp-*/*.js 

Allow: */wp-*/*.

Allow: */wp-*/*.png 

Allow: */wp-*/*.jpg 

Allow: */wp-*/*.jpeg 

Allow: */wp-*/*.gif 


G6
На сайте с 12.07.2007
Online
192
garry69
#1
Всё, что не запрещено, разрешено, у вас весь сайт открыт. да и этот файл не более чем рекомендация и скорее всего, дело в других моментах на сайте.
Работа с ПФ дёшево, плюс тест https://vk.cc/cReVya | Каталог каналов/чатов, ботов MAX https://max.worldwebinfo.ru
TC
На сайте с 14.11.2025
Offline
0
TurboCafe
#2

спасибо за ответ.

Еще хотел бы картинки в выдачу вывести, но пока не очень с этим

Владимир Коток
На сайте с 04.12.2011
Offline
134
Владимир Коток
#3
TurboCafe :

Доброго дня всем.

Буду благодарен уважаемым гуру за подсказку.

Есть доска объявлений на WP

результаты в выдаче не оч радовали, хотя прописываю каждое объявление  вручную в Yoast SEO


полез править robots.txt

но стало еще хуже по-моему.

Видимо что-то там неправильно сделал (

Посмотрите пожалуйста,

подскажите что поправить можно.

Заранее благодарен.

Текст robots ниже




User-agent: *                   # Создаем секцию правил для роботов. * значит для всех

# роботов. Чтобы указать секцию правил для отдельного

# робота, вместо * укажите его имя: GoogleBot, Yandex.

Disallow: /cgi-bin              # Стандартная папка на хостинге.

Disallow: /wp-admin/            # Закрываем админку.

Allow: /wp-admin/admin-ajax.php # Откроем аякс.

Disallow: /?                    # Все параметры запроса на главной.

Disallow: *?s=                  # Поиск.

Disallow: *&s=                  # Поиск.

Disallow: /search               # Поиск.

Disallow: /author/              # Архив автора.

Disallow: */embed$              # Все встраивания.

Disallow: */xmlrpc.php          # Файл WordPress API

Disallow: *utm*=                # Ссылки с utm-метками

Disallow: *openstat=            # Ссылки с метками openstat

Allow: */wp-*/*.js 

Allow: */wp-*/*.

Allow: */wp-*/*.png 

Allow: */wp-*/*.jpg 

Allow: */wp-*/*.jpeg 

Allow: */wp-*/*.gif 


Добрый день! Ваш robots.txt  содержит несколько потенциальных проблем для индексации. Вот основные рекомендации:

Критические проблемы:

  1. Слишком агрессивные запреты:

Disallow: /?                    # БЛОКИРУЕТ ГЛАВНУЮ СТРАНИЦУ С ПАРАМЕТРАМИ
Disallow: *?s=                  # НЕСТАНДАРТНЫЙ СИНТАКСИС
Disallow: *&s=                  # НЕСТАНДАРТНЫЙ СИНТАКСИС

  1. Неправильные Allow-правила:

Allow: */wp-*/*.               # ПУСТОЕ РАСШИРЕНИЕ - НЕ РАБОТАЕТ

Оптимизированная версия robots.txt:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-signup.php
Disallow: /search/
Disallow: /author/
Disallow: /embed/
Disallow: /xmlrpc.php
Disallow: /*?s=
Disallow: /*&s=
Disallow: /*?utm_
Disallow: /*?openstat=

# Разрешаем индексацию медиафайлов
Allow: /wp-content/uploads/
Allow: /wp-content/themes/*/assets/
Allow: /wp-content/plugins/*/assets/

# Разрешаем CSS и JS для правильного отображения
Allow: /wp-includes/js/
Allow: /wp-includes/css/
Allow: /wp-content/plugins/*/js/
Allow: /wp-content/plugins/*/css/
Allow: /wp-content/themes/*/js/
Allow: /wp-content/themes/*/css/

Sitemap: https://ваш-сайт.ру/sitemap_index.xml

Дополнительные рекомендации:

  1. Добавьте директиву Sitemap - обязательно укажите путь к вашему sitemap

  2. Проверьте в Search Console:

    • Используйте инструмент проверки robots.txt

    • Проверьте статус индексации страниц

    • Убедитесь, что важные страницы не заблокированы

  3. Для WordPress также рекомендую:

    • Проверить настройки видимости в Настройки → Чтение

    • В Yoast SEO проверить, что не стоит "noindex" на важных страницах

    • Использовать плагин для проверки дублей мета-тегов

  4. Проверьте текущую индексацию:

    • В Google: site:вашсайт.ru

    • В Яндексе: host:вашсайт.ru

После внесения изменений обязательно перепроверьте в Google Search Console и подождите несколько дней для переиндексации.

🟢 Продление русских доменов — от 149 руб/год — 👍 https://vladimir-kotok.ru/fe/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий