что первично robots или RewriteRule

AA
На сайте с 01.03.2008
Offline
16
523

если мне надо исключить страницы из индекса в robots писать так

disallow: /clients/0/1000/1

или

disallow: /clients?rubid=0&clid=1000&page=1

спасибо.

iren K
На сайте с 28.12.2008
Offline
222
#1
Alex AC:
если мне надо исключить страницы из индекса в robots писать так
disallow: /clients/0/1000/1
или
disallow: /clients?rubid=0&clid=1000&page=1

спасибо.

у этих файлов разное предназначение: если надо исключить страницы из индекса - то пропишите роботс,а не RewriteRule ..

c уважением Iren
robot-sgibatel
На сайте с 11.10.2008
Offline
87
#2

Какие урлы знают (или могут узнать) поисковики, те и пишите

"Радиация убивает только тех, кто ее боится." © Гомер Джей Симпсон (http://esquire.ru/wil/simpson)
AA
На сайте с 01.03.2008
Offline
16
#3

я понимаю, где писать )))

я сомневаюсь, можно ли писать во второй форме?

мне надо исключить страницы со словом page.

но поисковики видят только

/clients/0/1000/1

так вот им реально посылается настоящий url перед индексированием?

и если я напишу

disallow: /*page

то я так понимаю это будет проигнорировано?

iren K
На сайте с 28.12.2008
Offline
222
#4
Alex AC:
если я напишу
disallow: /*page
то я так понимаю это будет проигнорировано?

да

10 раз

AA
На сайте с 01.03.2008
Offline
16
#5

и как спастить?

regexp в robots не работает...

да, так реальный урл посылается или нет?

Z
На сайте с 13.12.2009
Offline
452
#6

ПС видит тот урл, который отдается в конечном html-коде

Консультации, seo-аудиты - https://seo-consulting.su Профессионально и без воды
kav
На сайте с 21.02.2006
Offline
159
kav
#7
Alex AC:
и как спастить?
regexp в robots не работает...

да, так реальный урл посылается или нет?

роботам отдается ТОТ адрес, который они запрашивают... и если у вас все ссылки на страницы вида /clients/0/1000/1 , то реального адреса они никогда не узнают...

реврайт происходит на стороне сервера и не ДО обращения к урлу, а уже по факту обращения... и если обращаются к урле, подходящей под какое-либо правило, то оно отрабатывается... при этом реальный урл знает только сервер и молчит об этом 🤣

Я знаю только то, что ничего не знаю © Сократ а когда я забываю даже это, вспоминаю про..... Форум - это такое место, где 2-е людей могут убедить в своих заблуждениях тысячи
LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#8

Можно я просто отвечу, без полемики?

Первичен RewriteRule т.к. выполняется на сервере, а далее уже robots.txt

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий