robots.txt и взрослый IPB форум

12
FishB1
На сайте с 15.10.2006
Offline
75
#11
Все остальные просто пропустят директиву. А вот создавать в роботсе на форуме отдельные секции для разных роботов никогда смысла не видел.

Смысл прост - зачем делать изначально не правильно, когда можно сделать правильно? Если у Вас есть директива host, то она должна быть только в секции Яндекса, т.к. у других поисковиков вызывает ошибки. Если Вам изначально всё равно на степень валидности и правильности, то пожалуйста, можно всё в одну сексию запихнуть и всё будет работать. Но это будет из серии "мышки плакали и кололись, но продолжали жрать кактус" (в роли мышек поисковики, в роли кактуса Ваш роботс.тхт).

Не индексирует. НЕ ИНДЕКСИРУЕТ, А ПРОХОДИТ. getnewpost - это 302-й редирект, по которому Яндекс проходит и индексирует уже сами страницы тем.

Ладно, с гетньюпост погорячился, не тем не менее от всяческих &st=0, &hl= и им подобных не избавится роботсом =)

Я закрываю страницы, не несущие какой-либо ценности, lofiversion я не закрываю.

Это на любителя, по мне - совершенно не нужные, в выдаче, страницы и заставляют поисковик индексировать одно и то же дважды. Если открыты для индексации, то в серпе, зачастую, заменяют полноценную версию, которая могла бы быть на той же позиции, т.к. запросы низкочастотные. Но вот люди на таких страничках обычно не задерживаются, а уходят и тем самым теряем посетителей, которые могли бы остаться. Но это так, лирическое отступление и личная неприязнь к форумам, у которых открыта лофи версия =)

С уважением, Евгений Г.
L.i.S
На сайте с 08.01.2007
Offline
10
#12

User-agent: *

Disallow: /forum/profile.php

Disallow: /forum/memberlist.php

* glofiish x500+ (http://x-trud.ru/t16.html) нужны комментарии о его недостатках
J3
На сайте с 19.05.2006
Offline
102
#13

edogs

Лично мы делали 301/302 редирект с "ненужных" ссылок на главную страницу сайта. Кое-где движком, кое-где mod_rewrite-ом. Ещё нам подсказывали вариант - движком на "ненужные" страницы выдавать меты по типу noindex, follow.

Мне кажется, лучше, чтобы робот сразу знал, что ему не надо заходить-индексировать такой-то раздел.

FishB1

Если Вам изначально всё равно на степень валидности и правильности, то пожалуйста, можно всё в одну сексию запихнуть и всё будет работать.

И всё-таки...

1) Disallow: /index.php?act=Profile

2) Disallow: *act=Profile*

Второй вариант только Гугл понимает?

L.i.S

У нас другой тип ссылок..

S
На сайте с 28.10.2005
Offline
296
#14
FishB1:


User-Agent: *
Disallow: *act=Forward*
Disallow: *&st=all*

Данный роботс канает тока для Гугла (по крайней мере Рамблер и Яндекс точно не подерживают символы подстановки)

FishB1
На сайте с 15.10.2006
Offline
75
#15

j0k3r, символы подстановки понимает не только Гугл, но многие поисковые системы такую инструкцию пропустят, в том числе и Яндекс. При этом наличие такой директивы в секции, например, Яндекса является ошибкой.

J3
На сайте с 19.05.2006
Offline
102
#16

Если ссылка на профиль выглядит как /index.php?s=&act=Profile&блаблабла

Я так понимаю, что лучше всего вот так написать:


User-agent: Googlebot
Disallow: *act=Profile*

User-agent: Yandex
Disallow: /index.php?act=Profile
Disallow: /index.php?s=&act=Profile
Host: forum.example.com

User-agent: *
Disallow: /index.php?act=Profile
Disallow: /index.php?s=&act=Profile

?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий