Форум Практика оптимизации Любые вопросы от новичков по оптимизации

запретить индексирование

AH
На сайте с 18.03.2006
Offline
204
Art-Host
506

Здравствуйте,

Подскажите, пожалуйста, как правильно запретить сканировать и индексирование в файле robots.txt для множества страниц такого вида page.php?a=1, page.php?b=2, и так далее.

Спасибо

Цены на регистрацию доменов ( https://1reg.online/domains.price ).
Focky
На сайте с 09.06.2013
Offline
80
Focky
#1

Disallow: /*?* например

Покупаю ссылки с качественных сайтов строительных тематик. Рассмотрю любые варианты. Личка.
edjiek
На сайте с 27.02.2014
Offline
84
edjiek
#2

Disallow: /page.php?*

AH
На сайте с 18.03.2006
Offline
204
Art-Host
#3
edjiek:
Disallow: /page.php?*

Так пробовал, но Google все-равно сканирует эти страницы

---------- Добавлено 10.05.2016 в 10:21 ----------

Focky:
Disallow: /*?* например

Мне нужно запретить только для конкретного PHP фала page.php с параметрами после знака "?"

Miha1Low
На сайте с 19.06.2010
Offline
183
Miha1Low
#4
Art-Host:
Так пробовал, но Google все-равно сканирует эти страницы

Он и будет сканировать. Просто в сниппетах поиска данные страницы будет отображать типа "отображение этой страницы закрыто в robots.txt".

Мужик сказал и мужик сделал - это два разных мужика.
edjiek
На сайте с 27.02.2014
Offline
84
edjiek
#5
Miha1Low:
Он и будет сканировать. Просто в сниппетах поиска данные страницы будет отображать типа "отображение этой страницы закрыто в robots.txt".

Далеко не всегда) кушает их и нормальные снипетты отображает

Я думаю, можно ставить каноникал на главную страницу листинга. В бурже так любят делать.

И ссылки в пагинации нофоллоу не закрывайте.

sidorka
На сайте с 17.08.2012
Offline
211
sidorka
#6

Заголовками X-Robots-Tag гонять ботов - http://alaev.info/blog/post/4751

Дешевые домены для дорвеев и не только - от 55р (https://goo.gl/Wtnwqp)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий