robots.txt для phpBB3

123 4
FladeX
На сайте с 07.11.2008
Offline
163
11523

У себя в блоге написал статью про составление правильного robots.txt для форума phpBB3. Хотелось бы донести сие до общественности. Если я что-то упустил из вида - напишите, исправлю.

В итоге у меня получился такой вот файл:

User-agent: *

Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: lastforum.ru
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Статью можно прочитать тут - robots.txt для phpBB 3

Услуги посредника на бирже контента: информационные статьи 40₽/1000, «продающие» тексты 50₽/1000. Пишите в личку. Помогаю правильно переехать на https (/ru/forum/973447). Подписывайтесь на мой канал в телеграм: https://t.me/fladex (https://t.me/fladex).
ewg777
На сайте с 04.06.2007
Offline
225
#1

Вы думаете, что до яши так туго доходит? Зачем же повторять код?

FladeX
На сайте с 07.11.2008
Offline
163
#2

ewg777, потому что до него реального туго доходит. Не верите - проверьте без повторений его же анализатором. Я в саппорт им отписывал насчет этого, но они отвечают абстрактными фразами.

FladeX
На сайте с 07.11.2008
Offline
163
#3

После апа яндекса проверил проиндексированность моего форума. Из-за запретов в robots.txt было выкинуто порядка 500 страниц, но как показал осмотр, все они были выкинуты по делу. В индексе осталось примерно 200 страниц, но это именно те страницы, которые заслуживают быть в индексе :)

Скрин прилагается.

png robotsbb.png
A
На сайте с 11.05.2009
Offline
99
#4

согласен,с тем, что яше надо отдельно указывать, он у нас не как все, задолбал уже. Правда у меня не такой длинный получился, писал о нем тут - http://js-php.ru/web-development/phpbb3-seo/

FladeX
На сайте с 07.11.2008
Offline
163
#5

Анализ подопытного форума показал, что индексация становится просто идеальной. Единственный минус заметил, что индексируются ссылки на первую страницу форумов. Для этого нужно добавить такую строчку в robots.txt:

Disallow: /viewforum.php?f=*&start=0$

После этого не беспокойтесь за индексацию :)

ЗЫ. Статью в блоге обновил, можете там посмотреть полный вариант кода.

T
На сайте с 23.11.2005
Offline
298
#6

Да, всё верно, спасибо, ставлю Ваш robots.txt. У меня было что-то подобное, но не всё, к примеру, надежды на прописанные боты в админке не оправдались, яндекс всё равно кушает sid'ы. Придётся их убить в robots.txt.

Могу добавить, что если стоит мод репутации, то нужно ещё добавить:

Disallow: /community/reputation.php

И ещё одна штуковина, параметр f=n, где n - номер форума. Может стоит убирать этот параметр кодом

Clean-param: f /viewtopic.php
?

Бывает ставишь внешнюю ссылку без этого параметра, на случай, если число f поменяется.

_2
На сайте с 30.05.2007
Offline
171
_t2
#7

FladeX, огромный респект за проделанную работу. У меня многое из списка уже есть, но полезной информации все равно масса.

Qinghua
На сайте с 01.09.2009
Offline
103
#8

Откуда инфа, что яндексу надо отдельно указывать?

Это какой-то старый миф или есть подтверждения?

FladeX
На сайте с 07.11.2008
Offline
163
#9

Thanx, так все ссылки как раз с этим параметром даются. Поэтому его наоборот оставить надо.

_t2, на здоровье. Рад, что вам пригодилось.

Qinghua, я проверял по анализатору robots.txt от яндекса. Если не использовать директиву Host, то да, можно смело сокращать в два раза.

Qinghua
На сайте с 01.09.2009
Offline
103
#10
FladeX:
я проверял по анализатору robots.txt от яндекса. Если не использовать директиву Host, то да, можно смело сокращать в два раза.

А если использовать, то что - не увидит?

У меня всё прекрасно видит.

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий