Работа с robots.txt

для большей надёжности, стоит сделать и то и то, т.к. некоторые поисковики забывают что написано в роботсе...

а по поводу как сделать - используй поиск на форуме... (это давно избитая тема и сто раз разжёванная) :)

4kict, "все, кроме..." в robots.txt запретить невозможно. Но если сформулировать задачу поконкретней, может быть, найдется и более разумное решение...

Вобщем есть форум, весь динамический с кучей всякой всячены которую не надо индексировать, а страницы типа index.php?id=1 было бы неплохо разрешить на индексацию, т.к. они содержат сообщения оставленые посетителями!

4kict, если страницы форума отличаются от index, например forumdisplay.php?id=... - то это не проблема:

Disallow: /forumdisplay.php

а если нет, то надо немного изменять структуру, например при помощи mod_rewrite и небольшой правки скрипта, добиться различия и запретить

Похоже что все очень плохо... Все ссылки на форуме это мой_домен.com/forum/index.php?id=... а проиндексировать надо только мой_домен.com/forum/index.php?id=1 :(

Ну если допустимый параметр id для ссылок, которые не надо индексировать, всегда число, то делается примерно так:

User-agent: *

Disallow: /forum/index.php?id=2

Disallow: /forum/index.php?id=3

Disallow: /forum/index.php?id=4

Disallow: /forum/index.php?id=5

Disallow: /forum/index.php?id=6

Disallow: /forum/index.php?id=7

Disallow: /forum/index.php?id=8

Disallow: /forum/index.php?id=9

Disallow: /forum/index.php?id=0

Disallow: /forum/index.php?id=10

Disallow: /forum/index.php?id=11

Disallow: /forum/index.php?id=12

Disallow: /forum/index.php?id=13

Disallow: /forum/index.php?id=14

Disallow: /forum/index.php?id=15

Disallow: /forum/index.php?id=16

Disallow: /forum/index.php?id=17

Disallow: /forum/index.php?id=18

Disallow: /forum/index.php?id=19

Если не обязательно число, то надо дальше перечислять все возможные начальные символы. Дело нехитрое. :)

Можно сделать трюк, задействуется модуль апача mod_rewrite и файл .htaccess, делаем небольшой редирект:

1. в файле .htaccess (расположенном в папке forum) пишем:

DirectoryIndex index.html

RewriteEngine on

RewriteRule ^index.html$ index.php?id=1 [L]

2. далее в robots.txt запрещаем индексацию форума

Disallow: /forum/index.php

3. ставим ссылку на форум со страниц: мой_домен.com/forum/index.html что и должно проиндексироваться, так как не запрещено ;), но не забывайте, что страница это будет с нулевым ПР, как новая

Всем большой сенкс за помощ! По ходу возникло еще парочку ламерских вопроса:

1. Если я, при помощи Disallow, запретил какие-то страницы, но только на них есть ссылки на разделы которые надо индексировать, будут ли они проиндексированы?

2. Строка

Disallow: /forum/index.php?id=2

запретит индексацию страници /forum/index.php?id=2&t=6 ?

нет, но если на эту страницу нет ссылок, кроме как со страницы /forum/index.php?id=2, то эта странице непроиндексируется...

Максим Палецких, не надо пожалуйста дезинформировать людей.

Скорее всего нет, если поисковик уже не нашел ссылки на них, или не найдет ссылку каким-нибудь образом в будущем.

Да. Строка запрещает индексацию всех страниц, адрес которых начинается с символов /forum/index.php?id=2.