Апорт и vBulletin

B
На сайте с 04.06.2004
Offline
0
405

Вопрос такого рода.

Я использую vbulletin v.3.0.1

В нем есть раздел "архив" спец. созданный для пауков, эмулирующий весь контент форума, в виде статичных html страничек.

Так вот, есть форум в интернете на таком же движке, robots.txt в директории у него не лежит, при этом Апорт индексирует только раздел "Архив", игнорируя почти все php-файлы (forumdisplay.php showthread.php и т.д.)

У меня же:

в архив заходит мало,

вместо этого, из обычных динам. адресов и файлов

выделывает директории:

www.site.ru/forumdisplay.php/?td=737

или еще хуже:

www.site.ru/forumdisplay.php/forumdisplay.php/?td=737

На индексацию архива, видимо уже силенок его не хватило, потому что взял оттуда он очень мало.

Итог путешествий Апорта по моему форуму:

взял не оттуда откуда нужно, не то, что нужно, оставил все что нужно.

--------

В чем трабл?

B
На сайте с 04.06.2004
Offline
0
#1

Никто не поможет?

G
На сайте с 26.11.2003
Offline
93
#2

Так укажите ему в robots.txt как ему надо действовать...

Наверняка там у вас ошибка...

Кузьменков Андрей
B
На сайте с 04.06.2004
Offline
0
#3

В robots.txt написано только:

-----------------------

User-Agent: *

Disallow: /cgi-bin/

-----------------------

И все. На том, другом сайте, robots.txt нет вообще, что и интересно. Поэтому хочу выяснить сначала причину такой разницы в результатах индексации Апортом

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий