robots.txt для phpBB3

Qinghua, а если использовать, то яндекс будет учитывать лишь ту часть, что указана персонально для него. Можете проверить анализатором. Да и служба поддержки яндекса мне тоже самое сказала.

Оставить можно, но это избыточный параметр. Более того, при оптимизации вредный.

Вот, размещена внешняя ссылка на урл:

http://site.**/forum/viewtopic.php?f=22&t=1475

Через год тема переходит в другой форум:

http://site.**/forum/viewtopic.php?f=21&t=1475

Всё... ссылка накрылась.

А если ссылка такая

http://site.**/forum/viewtopic.php?t=1475

то смена форума ссылочному не вредит.

Да и в серпе такие ссылки смотрятся хорошо, немного короче. :)

Имхо, абсолютно не вредит оптимизации, а наоборот.

Вот смотрите, к примеру московская выдача яндекса по фразе "комнатные розы":

http://yandex.ru/yandsearch?text=комнатные розы

6е место:

http://avflower.com/flower/viewtopic.php?t=163

Имхо, всё гуд.

Thanx добавил 21.10.2009 в 16:34

Вам спасибо за инфо про "Clean-param". Я ранее не употреблял. Спец моды по sid'у ставить не хотел, а указание ПС в разделе ботов не во всех случаях избавляет от sid'ов.

И да, я тоже смторю, что для яндекса нужно писать отдельную секцию в роботсе, а иначе он не всю инструкцию читает. Странно, но факт.

Thanx, а теперь зайдите на свой форум и посмотрите, какие там ссылки выдаются.

Я с вами согласен, сам не мог понять, для чего поднадобилось так ломать ссылки (если кто помнит, то во второй версии было без f=xx ).

robots.txt + sitemap спасёт в любом случае :)

Да я знаю, что там после перехода на главную и назад в тему, уже приплюсуется параметр f. Ну и что? Кстати, внешняя ссылка на данную страницу про розы стоит со времён phpBB2.

Однако, хоть теперь и phpBB3, но временами бывают глобальные переработки форумов, когда темы переезжают из раздела в раздел. При параметре f все ссылки будут накрываться "медным тазом", а это ни к чему. Всё хорошо и без параметра f. Поэтому я после некоторых экспериментов, скорее всего, введу в роботс параметр

Clean-param: f /community/viewtopic.php

Чтобы параметр f отрезался, мне он ни к чему при переходе с ПС, а юзер... юзеру всё-равно будет... после того, как он начнёт лазить по форуму, к его урлам приклеиться и f, и sid. А для ПС f избыточен. Ну вот избыточен, и всё тут.

Thanx, вы и меня почти убедили)) Но я все же оставлю тот вариант, который действует сейчас.

А ещё у меня есть такие окончания ссылок в индексе:

1. /viewtopic.php?f=12&t=698&start=0&st=0&sk=t&sd=a

2. /viewtopic.php?t=202&view=next

3. /viewtopic.php?t=359&postdays=0&postorder=asc&start=20

4. /viewtopic.php?t=871?=/

Скажем так, на 1,2 и 3-й пункт можно написать инструкцию

Clean-param: st /viewtopic.php

Clean-param: sk /viewtopic.php

Clean-param: sd /viewtopic.php

Clean-param: view /viewtopic.php

Clean-param: postdays /viewtopic.php

Clean-param: postorder /viewtopic.php

А вот что делать с 4 пунктом?

В вебмастере вот так:

при запросе

.../viewtopic.php?t=87*

выдаёт

/viewtopic.php?t=871?=/

/viewtopic.php?t=873

/viewtopic.php?t=870?=/

/viewtopic.php?t=87

/viewtopic.php?t=877

/viewtopic.php?t=874

/viewtopic.php?t=879

/viewtopic.php?t=875

Собственно, кусочек "?=/" не мешает уникальности индексации, и 871 и 870 тема появляются только один раз, но всё же не эстетично, каким образом в роботсе убрать этот конец строки "?=/" ?

Thanx добавил 22.10.2009 в 12:00

И ещё, 2 строки:

Disallow: /viewtopic.php?f=*&t=*&view=next

Disallow: /viewtopic.php?f=*&t=*&view=previous

Можно превратить в одну:

Clean-param: view /viewtopic.php

Thanx добавил 22.10.2009 в 12:12

А может, ещё лучше сделать так:

Clean-param: f&st&sk&sd&view&postdays&postorder /viewtopic.php ?

Thanx добавил 22.10.2009 в 12:29

Попробую сделать

Disallow: /viewtopic.php?t=87*?=/

И посмотрю на результат

Вариант.. Просто тогда анкоры будут "Следующая тема", "Предыдущая тема". И еще несколько подводных камней. Поэтому я решил через disallow сделать.

Насчет остальных вопросов - я пока с таким не сталкивался, поэтому проверять не на чем. Как только в индекс попадут подобные страницы, буду думать :)

Про 4 пункт - есть полезный оператор

$

он означает конец строки (то есть после него не должно быть никаких символов). Без такого символа строка считается с * на конце, даже если этой звездочки нету (по крайней мере, в яндексе это так).

Если у Вас не было предыдущей версии форума на движке phpBB2, то думаю, что подобные страницы у Вас не попадут в индекс. В моём случае это всё последствия phpBB2. Я даже расширил строку

Clean-param: sid&f&st&sk&sd&view&postdays&postorder&p /viewtopic.php

на "&highlight"

Clean-param: sid&f&st&sk&sd&view&postdays&postorder&p&highlight /viewtopic.php

после того, как нашёл оный параметр в индексе. 😂

$

Из примера яндекса:

User-agent: Yandex
Disallow: /example$ # запрещает '/example', 
                    # но не запрещает '/example.html'

но в моём случае наоборот, нужно короткое написание без лишних символов разрешить, а написание длинное - исключить из индекса.

Комбинация disallow + allow должна помочь ;)

http://help.yandex.ru/webmaster/?id=1007070#1007072