- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
здравствуйте уважаемые форумчане. Вопрос как правильно создать robots.txt для wordpress? На данный момент он выглядит так:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes/
Disallow: /wp-content/cache
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?s=
Disallow: /category/
Disallow: /tag/
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes/
Disallow: /wp-content/cache
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?s=
Disallow: /category/
Disallow: /tag/
Host: site.ru
Укажите пожалуйста на ошибки и недочеты. Быть может, какие-либо директивы закрыл неправильно. Заранее спасибо.
Jaroslav добавил 21.10.2010 в 21:52
ну помогите пожалуйста. Неужели никто не разбирается?
Jaroslav добавил 22.10.2010 в 00:01
в принципе вопрос исчерпан!
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes/
Disallow: /wp-content/cache
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /?s=
Disallow: /category/
Disallow: /tag/
host: сылка на ваш сайт www.site.ru
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes/
Disallow: /wp-content/cache
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /?s=
Disallow: /category/
Disallow: /tag/
Host: site.ru
Вот так будет правильней!
А я бы рекомендовал его закрыть, если не уверены. Поисковик со временем сам выкидывает все не нужное, но если делать робота (и были уже такие случаи), то можно случайно закрыть доступ к нужным файлам!!
Перепроверьте 10 раз, прежде чем его написать!
Jaroslav, все ок у вас в первом посте. Только Disallow: /wp-login.php и Disallow: /wp-register.php не обязательны (ИМХО и сам не использую, проблем не было).
xmlrpc.php у меня лично только Яндекс индексирует, закрываю только от него.
У себя использую такой, пользуйтесь на здоровье :)
Disallow: /cgi-bin/
Disallow: /author/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /category/*/*
Disallow: /page/
Disallow: /?feed=
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */comments
Disallow: */comment-page*
Disallow: /*trackback
Disallow: /*feed
Disallow: /author*
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: */feed
Disallow: /feed
Disallow: */trackback
Disallow: /tag/*/page
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
А, если поставить Disallow на разделы /pryaniki/ и категорию /category/ будет толк?
А, если поставить Disallow на разделы /pryaniki/ и категорию /category/ будет толк?
На категории только нужно, т.к. аналогичные страницы открываются и без category в урле.
всем большое спасибо за помощь!
Shapranov Pavel, в общем сейчас вот такой роботс.тхт получился:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: /trackback
Disallow: /feed
Disallow: */feed
Disallow: /*feed
Disallow: /comments
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /?*
Disallow: /category/
Disallow: /tag/
Disallow: /?s=
Disallow: /xmlrpc.php
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: /trackback
Disallow: /feed
Disallow: */feed
Disallow: /*feed
Disallow: /comments
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /?*
Disallow: /category/
Disallow: /tag/
Disallow: /?s=
Disallow: /xmlrpc.php
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Пойдет такой? И нудно ли для яндекса все отдельно прописывать?
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Почему не закрыли слешем-то в конце?
Я использую один общий для всех, меня все устраивает :)
Почему не закрыли слешем-то в конце?
спасибо...теперь закрыл:)
А так все нормально да?