Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Помогите с robots.txt разобраться

N4
На сайте с 19.09.2008
Offline
277
nikki4
533

у меня стоит джумла 1.5, пхпбб3,копермайн галерея

по умолчанию в роботе прописано: 

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

а что нужно добавить ещё? наверное в галерее и форуме тожеесть какие-то админские и т.п. шутки которые нужно скрыть, вот только какие?

а еще такой вот вопрос на сайте часть статей написаны в компоненте специальном, и путь к ним выглядит так:

сайт.ру/component/content/article/***/***?directory=7

выходит все статьи не будут проиндексированы? а как тогда сделать, чтобы они индексировались, при этом другие компоненты не индексировались?

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#1
nikki4:
как тогда сделать, чтобы они индексировались, при этом другие компоненты не индексировались?

Используйте директиву "Allow".

Пример:

User-agent: *

Allow: /components/content/article/

Disallow: /components/

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
N4
На сайте с 19.09.2008
Offline
277
nikki4
#2

а чтоб не индексировались логин на форуме и сайте и галерее, и еще чтобы не индексировались профили на форуме что нужно указывать?

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#3

В строке "Disallow" полный или частичный путь к страницам, которые нужно закрыть от индексации.

Андрей Тризна
На сайте с 03.04.2008
Offline
175
Андрей Тризна
#4

ТС вы интернетом пользоваться умеете? поГУГЛите (в крайнем случае ЯХУейте:))

Вот кстати по запросe robots.txt google выдал полезную ссылку: http://robotstxt.org.ru/

Будь собой. Прочие роли уже заняты. (О. Уальд) Обмен ссылками: спорт(ЯК), туризм, недвижимость, авто
N4
На сайте с 19.09.2008
Offline
277
nikki4
#5

а там не написанно, что нужно запрещать роботам в copermine gallery и в phpbb3

nikki4 добавил 30.12.2008 в 00:34

О погуглил и нашел как робота для форума писать

Disallow: /adm/

Disallow: /images/

Disallow: /styles/

Disallow: /upload/

Disallow: /cache/

Disallow: /includes/

Disallow: /language/

Disallow: /download.php

Disallow: /ucp.php

Disallow: /faq.php

Disallow: /mcp.php

Disallow: /memberlist.php

Disallow: /posting.php

Disallow: /report.php

Disallow: /search.php

Disallow: /style.php

Disallow: /viewonline.php

Disallow: /head

Disallow: /viewtopic.php?p=

Disallow: /viewtopic.php?*&p=

Disallow: /viewtopic.php?*start=0

Disallow: /viewtopic.php?*sd=

Disallow: /viewtopic.php?*view=

Disallow: /viewforum.php?*start=0

Disallow: /viewforum.php?*sd=d$

Disallow: /*.gif$

вот только есть вопрос, у меня сайт типа такого: эйчтитипи:имя.ру/форум/

мне значит нужно перед каждой чертой поставить /forum ? или не обязательно?

подкидыш
На сайте с 02.11.2007
Offline
55
подкидыш
#6
Цахес:
Используйте директиву "Allow".

Пример:
User-agent: *
Allow: /components/content/article/
Disallow: /components/

не получится т.к http://robotstxt.org.ru/RobotstxtErrors#h83-15

Парето прав!
Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#7
подкидыш:
не получится т.к http://robotstxt.org.ru/RobotstxtErrors#h83-15

Доброе утро! Как спалось?

http://help.yandex.ru/webmaster/?id=996567#996571

http://www.google.ru/support/webmasters/bin/answer.py?answer=40364&query=allow&topic=&type=

http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-02.html

и т.д.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий