Все вопросы по robots.txt

Т
На сайте с 08.11.2011
Offline
106
#511

Здравствуйте господа.

Нужно закрыть доступ поисковикам к всем страницам типа

/page.php?p=1 ,2, 3 и т.д

и

/profile.php?u=ник пользователя

Читал в яндекс вебмастере статью, так и не понял как правильно закрыть доступ. символ * нужно писать впереди или после?

Например так правильно?

Disallow: /*page.php

Disallow: /*profile.php

Спасибо

WebAlt
На сайте с 02.12.2007
Offline
251
#512

Можно по разному:

Disallow: /page*

или

Disallow: /page.php*

или

Disallow: /page.php

После проверяешь:

https://webmaster.yandex.ru/robots.xml

contrast
На сайте с 28.02.2009
Offline
104
#513

Пишите так:

Disallow: /*?p=

Disallow: /*?u=
Создание сайтов, верстка макетов. Специалист по Joomla и Wordpress всех версий (/ru/forum/949042)
T
На сайте с 07.04.2010
Offline
61
#514

Очень нужно убрать в robots любые параметры на всех страницах в disallow

нагуглить такое не смог сам, а экспериментировать не решился

Quickz
На сайте с 19.11.2015
Offline
14
#515

Что? Что нужно сделать? Поставить все страницы в disallow?

User-agent: *

Disallow: /

T
На сайте с 07.04.2010
Offline
61
#516
Quickz:
Что? Что нужно сделать? Поставить все страницы в disallow?
User-agent: *
Disallow: /

Запретить индексировать параметры у любых страниц

например:

/?utm=321312

/?list3=2312

/service/?qwert=321

параметры могут быть любые, страницы тоже

Danny_
На сайте с 23.11.2014
Offline
53
#517

Disallow: *&*

Disallow: *?*

только пагинатор может задеть

angel57
На сайте с 01.04.2014
Offline
155
#518

Clean-param может юзать? )

anser06
На сайте с 11.03.2006
Offline
276
#519
Tchort:
экспериментировать не решился

Зря, у яндекса для этого есть отличный инструмент: https://webmaster.yandex.ru/robots.xml

Staid
На сайте с 30.07.2014
Offline
59
#520

Tchort, Disallow: /*?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий