robots.txt для phpBB3

1 234
T
На сайте с 23.11.2005
Offline
298
#21

FladeX, понял. Спасибо за подсказку. Собственно, я так и предполагал.

Thanx добавил 22.10.2009 в 17:21

И последний вопрос, что запретит следующая директива:

Disallow: /viewtopic.php?t=*?=/$

По-моему, это решение моей задачи. Эта директива должна запретить все урлы форумных тем вида

/viewtopic.php?t=n?=/, т.е. оканчивающиеся на "?=/"

XS
На сайте с 11.10.2009
Offline
95
#22

подскажите пожалуйста, сделали робот по вашим советам, вроде все отлично, единственное как сделать что бы вот эти файлы viewtopic.php? не блокировались ?

FladeX
На сайте с 07.11.2008
Offline
163
#23
wizzer:
http://help.yandex.ru/webmaster/?id=1007070#1007072

Я в курсе :)

http://lastforum.ru/sitemap.php - это разве не xml? ;)

Thanx, в яндексе есть анализатор robots.txt, советую через него все проверять.

xxSIMxx, так они и не блокируются, если сделать как в статье. Будут блокироваться только те, которые имеют избыточные параметры.

Услуги посредника на бирже контента: информационные статьи 40₽/1000, «продающие» тексты 50₽/1000. Пишите в личку. Помогаю правильно переехать на https (/ru/forum/973447). Подписывайтесь на мой канал в телеграм: https://t.me/fladex (https://t.me/fladex).
wizzer
На сайте с 23.02.2009
Offline
152
#24
FladeX:
Я в курсе
http://lastforum.ru/sitemap.php - это разве не xml?

Прошу прощения )

//wizzer Проверенный временем опен впн сервис. (http://openvpn.cc) Перестань переживать за свою анонимность.
T
На сайте с 23.11.2005
Offline
298
#25
FladeX:
Thanx, а теперь зайдите на свой форум и посмотрите, какие там ссылки выдаются.
Я с вами согласен, сам не мог понять, для чего поднадобилось так ломать ссылки (если кто помнит, то во второй версии было без f=xx ).
robots.txt + sitemap спасёт в любом случае :)

Я тоже пришёл к выводу, что параметр f всё же нужно оставить в индексе. А почему? Потому что если с Disallow проблем нет, то как мне сделать Allow без параметра f, когда бот вряд ли пойдёт по этой ссылке, так как большинство ссылок (внутренние) идут именно с параметром f.

А поэтому и убирать f неестественно. Впрочем, через clean он и не убирается. А если убрать через Disallow, то потеряю большую часть страниц, или все, на которые нет ссылок в виде без f.

FladeX
На сайте с 07.11.2008
Offline
163
#26

Изучил список проиндексированных страниц в яндексе - ну просто идеально всё :) У других какие результаты?

S
На сайте с 28.10.2005
Offline
319
#27
FladeX:

Sitemap: /sitemap.php

Путь не абсолютный можно писать?

FladeX
На сайте с 07.11.2008
Offline
163
#28

semenov, а в Disallow вы какой путь пишите? ) Извините, что вопросом на вопрос ответил :)

BP
На сайте с 12.11.2009
Offline
0
#29

Здравствуйте! Сделал по вашему совету, всё нравится, спасибо. Есть вопрос в Google инструментах при проверке выдает это

Строка 14: Clean-param: sid /index.php Синтаксис не распознается

Строка 15: Clean-param: sid /viewforum.php Синтаксис не распознается

Строка 16: Clean-param: sid /viewtopic.php Синтаксис не распознается

Строка 32: Clean-param: sid /index.php Синтаксис не распознается

Строка 33: Clean-param: sid /viewforum.php Синтаксис не распознается

Строка 34: Clean-param: sid /viewtopic.php Синтаксис не распознается

страшно это нет?

S
На сайте с 28.10.2005
Offline
319
#30
FladeX:
semenov, а в Disallow вы какой путь пишите? ) Извините, что вопросом на вопрос ответил :)

А Disallow тут причем?

http://help.yandex.ru/webmaster/?id=996567#996573

http://www.sitemaps.org/ru/protocol.php#informing

Или относительный путь тоже канает?

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий