- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
здравствуйте уважаемые форумчане. Вопрос как правильно создать robots.txt для wordpress? На данный момент он выглядит так:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes/
Disallow: /wp-content/cache
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?s=
Disallow: /category/
Disallow: /tag/
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes/
Disallow: /wp-content/cache
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?s=
Disallow: /category/
Disallow: /tag/
Host: site.ru
Укажите пожалуйста на ошибки и недочеты. Быть может, какие-либо директивы закрыл неправильно. Заранее спасибо.
Jaroslav добавил 21.10.2010 в 21:52
ну помогите пожалуйста. Неужели никто не разбирается?
Jaroslav добавил 22.10.2010 в 00:01
в принципе вопрос исчерпан!
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes/
Disallow: /wp-content/cache
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /?s=
Disallow: /category/
Disallow: /tag/
host: сылка на ваш сайт www.site.ru
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes/
Disallow: /wp-content/cache
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /?s=
Disallow: /category/
Disallow: /tag/
Host: site.ru
Вот так будет правильней!
А я бы рекомендовал его закрыть, если не уверены. Поисковик со временем сам выкидывает все не нужное, но если делать робота (и были уже такие случаи), то можно случайно закрыть доступ к нужным файлам!!
Перепроверьте 10 раз, прежде чем его написать!
Jaroslav, все ок у вас в первом посте. Только Disallow: /wp-login.php и Disallow: /wp-register.php не обязательны (ИМХО и сам не использую, проблем не было).
xmlrpc.php у меня лично только Яндекс индексирует, закрываю только от него.
У себя использую такой, пользуйтесь на здоровье :)
Disallow: /cgi-bin/
Disallow: /author/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /category/*/*
Disallow: /page/
Disallow: /?feed=
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */comments
Disallow: */comment-page*
Disallow: /*trackback
Disallow: /*feed
Disallow: /author*
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: */feed
Disallow: /feed
Disallow: */trackback
Disallow: /tag/*/page
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
А, если поставить Disallow на разделы /pryaniki/ и категорию /category/ будет толк?
А, если поставить Disallow на разделы /pryaniki/ и категорию /category/ будет толк?
На категории только нужно, т.к. аналогичные страницы открываются и без category в урле.
всем большое спасибо за помощь!
Shapranov Pavel, в общем сейчас вот такой роботс.тхт получился:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: /trackback
Disallow: /feed
Disallow: */feed
Disallow: /*feed
Disallow: /comments
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /?*
Disallow: /category/
Disallow: /tag/
Disallow: /?s=
Disallow: /xmlrpc.php
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: /trackback
Disallow: /feed
Disallow: */feed
Disallow: /*feed
Disallow: /comments
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /?*
Disallow: /category/
Disallow: /tag/
Disallow: /?s=
Disallow: /xmlrpc.php
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Пойдет такой? И нудно ли для яндекса все отдельно прописывать?
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Почему не закрыли слешем-то в конце?
Я использую один общий для всех, меня все устраивает :)
Почему не закрыли слешем-то в конце?
спасибо...теперь закрыл:)
А так все нормально да?