robots.txt для форум phpbb

R
На сайте с 12.07.2005
Offline
156
546

Посмотрите плз правильно ли составлен robots.txt что бы все поисковики не индексировали ненужные папки форума (профили пользователей и т.д.)

содержание файла:

User-Agent: *

Disallow: /admin/

Disallow: /attach_mod/

Disallow: /ban/

Disallow: /cache/

Disallow: /db/

Disallow: /docs/

Disallow: /files/

Disallow: /images/

Disallow: /includes/

Disallow: /language/

Disallow: /templates/

Disallow: attach_rules.php

Disallow: common.php

Disallow: config.php

Disallow: extension.inc

Disallow: faq.php

Disallow: groupcp.php

Disallow: login.php

Disallow: memberlist.php

Disallow: modcp.php

Disallow: posting.php

Disallow: privmsg.php

Disallow: profile.php

Disallow: quick_reply.php

Disallow: search.php

Disallow: uacp.php

Disallow: viewonline.php

как можно вообще проверить действия бота т.е. допустим узнать проиндексирован ли файл profile.php ?

Цахес
На сайте с 15.03.2007
Offline
205
#1
ryzubex:
как можно вообще проверить действия бота т.е. допустим узнать проиндексирован ли файл profile.php ?

Оператор url="www.url.ru/profile.php"

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
R
На сайте с 12.07.2005
Offline
156
#2

странно набирую - url="www.мой форум.ru" и выдает "Искомая комбинация слов нигде не встречается." хотя проиндексированно - 1870 страниц... что бы это значило?

K
На сайте с 31.01.2001
Offline
737
#3
ryzubex:
что бы это значило

Это значит, что кто-то поленился посмотреть язык запросов Яндекса.

Пробуйте по-другому:

url="www.мой форум.ru*"

url="мой форум.ru*"

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
M
На сайте с 10.02.2007
Offline
74
#4

Практика показывает, что для Я. disallow нужно прописывать отдельно, т.к. * он игнорирует и индексирует всё подряд.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий