robots.txt для сайта в гугл

D
На сайте с 22.10.2013
Offline
11
714

Добрый день, помогите разобраться с файлом robots.txt. Хочу закрыть страницы пагинации от индексации.

Ссылка вида site/articles/index?Articles_page=3/ подскажите как правильно закрыть. Заранее спасибо

Covax
На сайте с 09.02.2012
Offline
119
#1

Закрывать не нужно, т.к. Гугл понимает страницы пагинации. Используйте разметку rel="canonical", а лучше rel="next" и rel="prev".

S
На сайте с 24.09.2010
Offline
65
#2

Через Disallow: /*page=3$

N
На сайте с 14.02.2014
Offline
11
#3
svcitius:
Через Disallow: /*page=3$

Тогда уж так:

Disallow: /*page=*

А то закроются только 3-ие страницы.

Куплю вечные ссылки тематики "торговое и пищевое оборудование", "проектирование и комплексное оснащение ресторанов, баров, кафе и других предприятий питания". Предложения в ЛС.
S
На сайте с 24.09.2010
Offline
65
#4

n1ck, это если главная страница не содержит page=

E
На сайте с 21.09.2009
Offline
283
#5
Dreamati:
Ссылка вида site/articles/index?Articles_page=3/ подскажите как правильно закрыть.

Метатегом ноиндекс(не путать с яшыным тагом).

I
На сайте с 20.10.2012
Offline
144
#6

Только метатегом noindex. <meta name="robots" content="noindex,follow" />

Robots.txt не помешает индексировать Гугл такие страницы, они так и будут болтаться в индексе, с таким описанием:

Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...

Как с помощью метатега запретить индексирование страницы поисковыми роботами

Все легко делается, для joomla например есть компонент Tag Meta, им можно закрыть абсолютно любые страницы от индексации.

N
На сайте с 14.02.2014
Offline
11
#7
svcitius:
n1ck, это если главная страница не содержит page=

Согласен, но в таком случае можно дописать Allow: /*page=1

New Member
На сайте с 21.12.2008
Offline
211
#8

используйте мета тег robots

Раскрутка сайтов (https://seomasters.com.ua/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий