Дублирование контента

C
На сайте с 07.04.2010
Offline
6
607

На сайте имеются страницы с очень похожим содержимым. Как правильно в роботе нужно прописать запрет на индексацию содержимого рубрик, поиска, страницы-приложения работы по партнерской программе? В рамках темы Любые вопросы от новичков ничего никто конкретного не предложил, задаю вопрос здесь

D2
На сайте с 07.12.2009
Offline
10
#1

Заходите в robots.txt, там и прописываете: указываете директорию (например /search) и ставите noindex для нее. Там у вас уже наверняка какие-то директории (ну, админская часть, например) прописана с noindex, делайте по этой же модели другие директории, которые хотите.

Обменяюсь ссылками по мебельной тематике (только СДЛ, ТИЦ не меньше 30). Также рассматриваю покупку ссылок по мебельной тематике (только СДЛ, ТИЦ не меньше 50). Обращайтесь в личку.
MyOST
На сайте с 22.01.2006
Offline
559
#2
Camy:
Как правильно в роботе нужно прописать запрет на индексацию содержимого рубрик, поиска, страницы-приложения работы по партнерской программе?

Disallow: /директория/

слэш на конце обязательно закрыть, иначе можно запретить не то что ожидалось

Disallow: /? - для каких либо параметров, если не используются и т.п.

Как сам файл роботс создается - можно посмотреть на любом сайте где он присутствует, стандартный пример для всех роботов ПС

User-agent: *

Disallow: /admin/

Disallow: /404/

Disallow: /?

Host: www.адрессайта.ru

Блог (http://seom.info/) | Ты уже SEO профессионал? (http://www.key-collector.ru/) Развиваем семантику более 8 лет! ()
Кирилл
На сайте с 20.08.2009
Offline
170
#3
MyOST:
Disallow: /директория/

слэш на конце обязательно закрыть, иначе можно запретить не то что ожидалось

Disallow: /? - для каких либо параметров, если не используются и т.п.


Как сам файл роботс создается - можно посмотреть на любом сайте где он присутствует, стандартный пример для всех роботов ПС

User-agent: *
Disallow: /admin/
Disallow: /404/
Disallow: /?
Host: www.адрессайта.ru

У меня другой вопрос.

Host: надо писать и в каких случаях?

SEO-Специалист Middle+ ( https://vk.ru/kirill_seo )
MyOST
На сайте с 22.01.2006
Offline
559
#4
kirill2009:
Host: надо писать и в каких случаях?

для всех случаев, чтобы указать основное зеркало для ПС, но при этом желательно в .htaccess сделать 301 редирект еще с версии без ввв на версию с ввв (если она основная).

Кирилл
На сайте с 20.08.2009
Offline
170
#5
MyOST:
для всех случаев, чтобы указать основное зеркало для ПС, но при этом желательно в .htaccess сделать 301 редирект еще с версии без ввв на версию с ввв (если она основная).

спасибо, за краткость

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий