Как закрыть параметры от роботов

minaton
На сайте с 18.09.2004
Offline
135
666

Как я понимаю, с помощью robots.txt мы можем закрыть папки от индексации. А как быть, если все работает на одном index.php (форум, например)? Как сказать паукам, чтобы не трогали такие страницы …/index.php?showuser=2 или …/index.php?act=Login&CODE=00

А если на форуме еще используются ЧПУ на .htaccess, то есть index.php превращается в index.html, тогда все эти параметры еще хуже: …/index.html?act=Reg&CODE=00

lagif
На сайте с 15.12.2004
Offline
30
#1

minaton,

В роботах.тхт такого нет. Но, в общем, это дело свободы: параметры пауков отпугивать не должны, от них ведь содержимое страниц зависит. Открой страницы только для авторизованных пользователей. :) Это, ясное дело, выход такой себе, но другого пока не видно.

С другой стороны, я не видала еще таких умных роботов, чтоб они в форуме сами регистрировались :)

Это тоже пройдет...
[Удален]
#2
Как писал minaton
Как сказать паукам, чтобы не трогали такие страницы /index.php?showuser=2

В robots.txt:

User-agent: *

Disallow: /index.php?showuser=

или можно даже так:

User-agent: *

Disallow: /index.php?

lagif, роботы-то не регистрируются... :) Но это не единственный путь для страницы в индекс.

lagif
На сайте с 15.12.2004
Offline
30
#3

Scaramush,

Странно, но, судя п серверным логам, то ли гугл, то ли яндекс (не помню) первый пример у меня игнорировали... может чево криво написала.... :(

Кстати, не знаю, обсуждали ли где способы бороться с session_id ?

minaton
На сайте с 18.09.2004
Offline
135
#4
Как писал Scaramush
В robots.txt:

User-agent: *
Disallow: /index.php?showuser=

А если у меня еще есть

/index.php?act=

/index.php?showuser=

index.php?showtopic=

и д.р.

для каждого строчку вбивать?

или можно даже так:

User-agent: *
Disallow: /index.php?

А если ЧПУ настроены? Значит нужно писать:

Disallow: /index.html?

?

minaton
На сайте с 18.09.2004
Offline
135
#5
Как писал lagif
Кстати, не знаю, обсуждали ли где способы бороться с session_id ?

Бороться, в смысле исключить из адресной строки или как от пауков скрыть?

Если вообще их убрать нужно, нада в .htaccess написать:

php_value session.use_trans_sid "0"

или в самом скрипте вставить:

ini_set("session.use_trans_sid", 0);

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий