Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt Для phpBB форума

smaG
На сайте с 14.03.2007
Offline
20
smaG
1298

Здесь на форуме наткнулся на такой robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /attach_mod/
Disallow: /ban/
Disallow: /cache/
Disallow: /db/
Disallow: /docs/
Disallow: /files/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /attach_rules.php
Disallow: /common.php
Disallow: /config.php
Disallow: /extension.inc
Disallow: /faq.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /quick_reply.php
Disallow: /search.php
Disallow: /uacp.php
Disallow: /viewonline.php

Ребят подскажите, не закрою ли я что нибудь нужное?

Или все нормально?

Есть сайт заработай на продаже внутренних (http://www.sape.ru/r.716acee8cc.php) и главных (http://www.mainlink.ru/?partnerid=22819) страниц. Приглашаем сайты с посещаемостью от 2-х человек в сутки! (http://referal.begun.ru/partner.php?oid=90516231)
K
На сайте с 31.01.2001
Offline
737
Kost
#1

Главное, чтобы были открыты разделы, темы и отдельные сообщения. Для phpbb это:

/viewforum.php

/viewtopic.php

Все остальное имеет смысл закрывать.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
smaG
На сайте с 14.03.2007
Offline
20
smaG
#2

Тут как я понимаю и:

/search.php

Поиск полностью закрываем?

Читал тут архивчик форума, так не редко прописание робота заканчивается выпадением. что не сильно то охота.

Т.е. на сколько можно быть увернным, что появление robots.txt не повлияет на серп?

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
K
На сайте с 31.01.2001
Offline
737
Kost
#3

А открытие /search.php потенциально чревато баном, также как и /memberlist.php.

Впрочем, если форум не чистить от спама регулярно, то это тоже потенциально чревато баном.

GFF
На сайте с 18.09.2006
Offline
38
GFF
#4
smaG:
Ребят подскажите, не закрою ли я что нибудь нужное?
Или все нормально?

У меня тоже phpBB. Что я из приведённого списка НЕ СТАЛ закрывать:

Disallow: /faq.php

Не стал. FAQ у меня индивидуализирован, так есть ключевые слова. Пусть находится.

Disallow: /memberlist.php

Disallow: /profile.php

У меня на форуме принято регистрироваться с реальными именами. Регулярно несколько человек в день приходят с Яндекса и Рамблера по поиску конкретных людей. Единственное, что сделал (и о чём объявил для потенциальных спамеров) - закрыл индексацию www-ресурсов, которые пользователи себе в профиле прописывают.

Disallow: /search.php

Согласен, что это нужно закрывать.

А так всё верно, IMHO. Если у Вас типовой форум, на котором моих извратов нет - то можно прямо так класть.

S
На сайте с 28.10.2005
Offline
299
semenov
#5

Я использую такой вариант http://forum.ssve.ru/viewtopic.php?t=345

Ank
На сайте с 26.04.2004
Offline
108
Ank
#6

У меня по прежнему самый длинный :)

http://forum.neugnali.ru/robots.txt

Плюс разнообразные навороты для отрубания сессионных хвостов и облагораживания названий :)

Ссылка за контент ( http://www.acma.ru ) прямая и безответная. ► [url=https://saas24.ru/saas_category/dedicated/?utm_source=forums&utm_medium=signatures&utm_campaign=dedicated_s24]Рейтинг серверов[/url] — ТОП10 ◄
S
На сайте с 28.10.2005
Offline
299
semenov
#7
Ank:

У меня по прежнему самый длинный :)
http://forum.neugnali.ru/robots.txt

У вас для Яндекса роботс ничего не запрещает

И вообще можно сделать проще и короче, а не пречислять всех ботов интернета

Ank
На сайте с 26.04.2004
Offline
108
Ank
#8
semenov:
У вас для Яндекса роботс ничего не запрещает

спорное утверждение :) Или Вы считает, что если бот нашел свою запись он на остальное плюет?

Хотя возможно Вы и правы :(

semenov:
а не пречислять всех ботов интернета

поставить все дизалов а избранным разрешить? страшно...

Ctulhu
На сайте с 21.05.2005
Offline
222
Ctulhu
#9
Ank:
поставить все дизалов а избранным разрешить?

Да, именно так

Для всех основных роботов создать свои секции, а для остальных:

User-agent: *

Disallow: /

Ank:
страшно...

чего страшно? :)

Вот пример :)

http://kingdiamond.ru/robots.txt

Не самый удачный вариант, но я решил так оставить :)

https://atabekov.business
smaG
На сайте с 14.03.2007
Offline
20
smaG
#10
если форум не чистить от спама регулярно, то это тоже потенциально чревато баном.

Чищу регулярно, пару раз в день.

Наворотов нет.

НА форуме более 5000 сообщений, а Яше периодически скачет от 4500-5000, просмотрел почти все viewtopic.php, но есть и профайлы и поиск.

Получается он до конца и проиндексировать не может?

Или даже не проиндексирует?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий