Что запрещать в robots.txt для форума?

на ресурсоемкие странички, например на страницу списка юзверей

перегруженность серванта

профили пользователей, служебные странички, PM, поиск, и т.п.

Например для форума битрикса:

Disallow: /forum/view_profile.php

Disallow: /forum/user/

Disallow: /forum/search/

Disallow: /forum/topic/new/

Disallow: /forum/topic/add/

Disallow: /forum/subscr_list.php

Disallow: /forum/send_message.php

Disallow: /forum/search.php

Disallow: /forum/new_topic.php

Disallow: /forum/move.php

Disallow: /forum/active.php

Disallow: /forum/forum_auth.php

Админку

Список и профили пользователей

Результаты поиска

Формы ввода, которые на отдельных страничках.

Это то, что навскидку вспомнилось.

ТС, напишите какой у вас движок форума, вам тут сразу конкретные роботсы накидают.

Индексация ненужных страниц, тех которые ой как не любят ПС (результаты поиска например), спамных (профили пользователей со ссылками на "домашние страницы😂")

Я думаю, тут проще сказать, что нужно оставить - только текст сообщений и навигацию по темам, разделам.

спасибо, двигло phpbb

Allow: /forum/index.php$

Allow: /forum/viewforum.php?f=

Allow: /forum/viewtopic.php?t=

Disallow: /forum

Вот это норм будет? :)

Когда то искал и мне советовали вот такое:

Disallow: /phpbb/admin/

Disallow: /phpbb/db/

Disallow: /phpbb/images/

Disallow: /phpbb/includes/

Disallow: /phpbb/language/

Disallow: /phpbb/profile.php$

Disallow: /phpbb/groupcp.php$

Disallow: /phpbb/memberlist.php$

Disallow: /phpbb/login.php$

Disallow: /phpbb/modcp.php$

Disallow: /phpbb/posting.php$

Disallow: /phpbb/privmsg.php$

Disallow: /phpbb/search.php$

Disallow: /phpbb/admin/

порадовало. на админку даже намека быть не долно

админка должна находиться в диририктории /ymhcihhctihcy/ в файле jrvicyuycbyb.php

а не как не в /admin/index.php или /admin/admin.php )

Hutch, Ну так для форума по умолчанию админка именно там. Хотя если позаботиться о безопасности форума то конечно админку лучше прятать и соответственно менять этот пункт.

Всем спасибо, сделал вот так:

Allow: /forum/$

Allow: /forum/index.php$

Allow: /forum/viewforum.php?f=

Allow: /forum/viewtopic.php?t=

Disallow: /forum