Форум Сайтостроение Веб-строительство

Wordpress robots.txt

12
A
На сайте с 28.05.2010
Offline
134
almazik
986

Здравствуйте, собственно интересует такой вопрос:

Как правильно составить robots.txt для wordpress?

Как правильно скрыть страницы, к примеру www.сайт.ru/about - эту страницу нужно скрыть... Что для этого нужно прописать? И вообще какой должен быть роботс? :rolleyes:

maldivec
На сайте с 04.11.2008
Offline
160
maldivec
#1

Что в этом мануале непонятно - http://help.yandex.ru/webmaster/?id=996567#996571 ? Вроде бы все очень доступно написано.

H8
На сайте с 09.03.2011
Offline
96
h82w8
#2

Пиши:

Disallow: /about

и будет скрыта эта страница, ну а вообще в предыдущем сообщении хорошо все описано.

Копирайтинг, рерайтинг, ежедневное наполнение сайтов (/ru/forum/965609)
LM
На сайте с 18.10.2009
Offline
117
LinuxMan
#3
almazik:
Как правильно скрыть страницы, к примеру www.сайт.ru/about - эту страницу нужно скрыть... Что для этого нужно прописать? И вообще какой должен быть роботс?

Будьте добры, полюбопытствуйте вот тут http://robotstxt.org.ru/

A
На сайте с 28.05.2010
Offline
134
almazik
#4

Спасибо всем за ответы на мои вопросы.

M3
На сайте с 05.01.2010
Offline
14
ma333
#5

чувак, притворившись поисковиком, заходишь на любой крутой сайт на вп, лучше на русский, так как там для уяндекса будет написано, открываешь сайт.ру/роботс.тхт и зыряешь туда

Дмитрий Удимов
На сайте с 05.05.2010
Offline
274
Дмитрий Удимов
#6

Вот мой robots.txt, как вариант:

User-agent: Mediapartners-Google*
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: YandexBlog
Disallow:

User-agent: *
Disallow: /cgi-bin
Disallow: /tag
Disallow: /category
Disallow: /author
Disallow: /2010
Disallow: /2011
Disallow: /2012
Disallow: /?
Disallow: /feed
Disallow: */feed
Disallow: /page/*
Disallow: */feed/
Disallow: /comments
Disallow: */comments
Disallow: */trackback
Disallow: /trackback
Disallow: /xmlrpc.php
Allow: /wp-content/gallery/
Allow: /wp-content/uploads/
Disallow: /wp
Disallow: */?show=
Disallow: */comment-page

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /tag
Disallow: /category
Disallow: /author
Disallow: /2010
Disallow: /2011
Disallow: /2012
Disallow: /?
Disallow: /feed
Disallow: */feed
Disallow: */feed/
Disallow: /page/*
Disallow: /comments
Disallow: */comments
Disallow: */trackback
Disallow: /trackback
Disallow: /xmlrpc.php
Allow: /wp-content/gallery/
Allow: /wp-content/uploads/
Disallow: /wp
Disallow: */?show=
Disallow: */comment-page
Host: site.com

Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap.xml.gz
Топвизор — аккредитованный регистратор доменов .ru и .рф (https://topvisor.com/ru/domain-registration/) — честная цена 299 руб. за регистрацию и продление.
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#7
Ditmar:
Disallow: /feed
Disallow: */feed
Disallow: */feed/

Можно оставить только */feed

Дмитрий Удимов
На сайте с 05.05.2010
Offline
274
Дмитрий Удимов
#8
kimberlit:
Можно оставить только */feed

Спасибо, действительно косяк

Mad_Man
На сайте с 10.11.2008
Offline
162
Mad_Man
#9
Ditmar:
Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap.xml.gz

Хватит и одной копии сайтмэпа.

Ditmar:
Disallow: /2010
Disallow: /2011
Disallow: /2012

2013

2014

2015

2016

2017

2018

2019

2020

2021

2022

2023

2024... идиотизм, не находите?

Ditmar:
Disallow: /comments
Disallow: */comments
Disallow: */trackback
Disallow: /trackback

Повторяетесь.

Ditmar:
Allow: /wp-content/gallery/
Allow: /wp-content/uploads/

Зачем? В смысле, "а кто-то запрещал?"

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#10
Mad_Man:
Зачем? В смысле, "а кто-то запрещал?"

Allow: /wp-content/gallery/

Allow: /wp-content/uploads/

Disallow: /wp

:)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий