Вопрос по robots

WS

116

white_seo

28 октября 2008, 18:23

312

Всем привет.

Такой вопрос: если исключить странички в роботс.txt, то не будет индексации как Яндексом так и Гуглом ?

PS. Может есть у кого образец заполнения robots'a для CMS PhP-fusion ?

205

Цахес

28 октября 2008, 18:34

#1

white_seo:
если исключить странички в роботс.txt, то не будет индексации как Яндексом так и Гуглом ?

Смотря как исключите.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).

WS

116

white_seo

28 октября 2008, 18:39

#2

Цахес:
Смотря как исключите.

А можно поподробнее: правила исключения страниц для Яндекса и Гугля?:)

У меня во такой роботс к примеру:

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /editor/

Disallow: /help/

Disallow: /images/

Disallow: /includes/

Disallow: /language/

Disallow: /mambots/

Allow: /forum/$

Allow: /forum/index.php$

Allow: /forum/viewforum.php?f=

Allow: /forum/viewtopic.php?t=

Disallow: /forum

193

stifler_x

28 октября 2008, 18:45

#3

Правила составления robots.txt для Яндекса здесь, для Гугла - здесь