Вопрос по роботс.txt

User-agent: *

Disallow: /index.php?action

до этого долго искал в инете что-нить подобное, но на всех cms bitrix(а на сайте стоит она)

видель лишь подобное

Disallow: /news/news/index.php?detail=1&ID=1043&print=Y

т.е. прямой путь к проблемному урлу (в смысле к тому который нужно закрыть от индексации)

если кто-то сталкивался с таким, не подскажете не возникнут ли проблемы?

остальные урлы выглядят следующим образом:

/index.php?SECTION_ID=151&ELEMENT

bankirfans, какой путь есть на самом деле такой и пиши ... Или покажи конкретный адрес ...

А если надо закрыть от индексации папку?

User-agent: *

Disallow: /папка/папка/

если это был вопрос, то ответ да ))

Закроется вторая только ...

Спасибо, то что надо.

ситуация не разрешилась, файл роботс.тхт следующий:

User-agent: *

Disallow: /bitrix/

Disallow: /auth/

Disallow: /personal/

Disallow: /personal/index.php?login

Disallow: /catalog/index.php?action

Disallow: /index.php?action

Disallow: /catalog/accessories/index.php?action

Host: www.begenius.ru

User-Agent: Yahoo! Slurp

Disallow: /

User-agent: msnbot 

Disallow: /

однако логи показывают что роботы всёравно ходят по страницам которые запрещены в роботсе.

38.99.13.124 - - [08/Jan/2009:15:09:55 +0300] "GET /auth/?auth=yes&backurl=%2Fcommunication%2Fforum%2Findex.php%3Fbackurl%3D%252Fcommunication%252Fforum%252Findex.php%253FPAGE_NAME%253Dlist%2526FID%253D24%26PAGE_NAME%3Dlist%26FID%3D24 HTTP/1.0" 200 6290 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"

38.99.13.124 - - [08/Jan/2009:14:38:44 +0300] "GET /personal/index.php?login=yes&backurl=%2Fcatalog%2Fipod%2Findex.php%3Faction%3DADD_TO_COMPARE_LIST%26id%3D275%26SECTION_ID%3D168 HTTP/1.0" 200 6426 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"

66.249.71.233 - - [08/Jan/2009:14:38:14 +0300] "GET /catalog/accessories/index.php?action=ADD_TO_COMPARE_LIST&id=451&SECTION_ID=156 HTTP/1.0" 200 10175 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

как такое побороть?

Для начала пустую строку сделай между секциями ...

подправил, проблему не решило

10 минут максимум и

503 Service Temporarily Unavailable

причём грузит долбанный yahoo slurp который вообще не должен заходить на сайт

72.30.161.223 - - [08/Jan/2009:16:48:21 +0300] "GET /catalog/ipod/index.php?action=ADD2BASKET&id=1047&SECTION_ID=168&ELEMENT_ID=1047 HTTP/1.0" 302 19604 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

bankirfans добавил 08.01.2009 в 17:14

вот нашёл на похожем магазине роботс:

User-agent: Yandex

Disallow: /*index.php

Disallow: /*PAGEN_100=

Disallow: /*sort=

Disallow: /*filter_price

Disallow: /*SAP_filter

Disallow: /*SELECTION_ID

Disallow: /*XID

Disallow: /*print

Disallow: /admin/

Disallow: /bitrix/

Disallow: /cat/compare.php

Disallow: /cat/detail_pictures.php

Disallow: /flash/

Disallow: /forum/

Disallow: /help/gifts/

Disallow: /img/

Disallow: /mobile/

Disallow: /personal/ 

Disallow: /search.php

Disallow: /search/

Disallow: /upload/

Disallow: /css/

Disallow: /scripts/

Host: www.eldorado.ru

есть несколько вопросов что запрещает от индексации строка Disallow: /*index.php ?