Robots.txt для google

Kost, Вы дали ссылку на мануал Яндекса.

Вот мануал Гугла

Команда Allow вовсе не отменяет последующих запрещений.

Для ТС надо так:

User-agent: *

Disallow: /papka/

Disallow: /papka1/

А если внутри запрещенных папок надо разрешить какие-то урлы, то использовать Allow.

P.S. Директива Kost для robots.txt

Сорри, не удержался. :)

Если бы ТС хотел учиться, он прочитал бы не только мануал. А ему нужно было на блюдечке. Вот пусть и кушает то, что ему предложили выше под его ситуацию.

То он еще одну тему создаст ;)

Ну, я бы так не стал говорить... На самом деле, даже почитав сто раз мануал, там не получаешь ответов на все вопросы и возможные ситуации. Вот, например как исключить урлы, содержащие определенную последовательность символов, но разрешить урлы, содержащие те же символы + еще какой-то?

Например - исключить содержащие "tt=?"

Disallow: /*tt=? (в соответствии с мануалом)

А как при этом разрешить содержащие "qtt=?"? В мануале описано только, как исключить из запрещения урлы, имеющие определенное окончание, и все.

Поэтому ИМХО вполне нормально попробовать получить сторонние мнения.

Директива Allow вообще зло. Ибо итак "разрешено всё, что не запрещено".

Вообще в спецификации роботс.тхт её нет (не было во всяком случае раньше), и была введена Гуглём (по некоторым непроверенным слухам ;) )

Хочу подчеркнуть, что читал бы он НЕ ТОЛЬКО мануал. Так было сказано.

Полностью согласен.

В общем, даже само использование robots.txt не является безусловно необходимым и легко обходится на ранних стадиях строительства.

ЗЫ. Я, например, отсеиваю Google по User-Agent и ни разу еще не зажужжал от этого. Ничего не упало, ничего лишнего не появилось и т. п. И robots.txt нет ни на одном моем сайте.

Это правда, но далеко не всегда есть возможность участвовать в ранних стадиях строительства. Даже скорее наоборот - чаще получешь сайт с проблемами на уровне движка, и с ним выкручиваешься.

Да, есть такой минус нашей работы.

А, в принципе, всем жаждущим желал бы найти такой всеобъемлющий сайт: intitle:"robots.txt bible". Чтобы там была Вики, примеры, обсуждения, и т. п. НИША СВОБОДНА! Два языка как минимум. Дарю!

Before that we have to pray our Lord and Savior Google to write this Bible.

No,

<meta name="robots" content="fix_errors_for_n00bs" />

<meta name="google-pray" content="Dear Google, please love my site! It's really useful." />

<meta name="pagerank" content="10" /><!-- here "9" could be given if you are shy -->

<meta name="sape-links" content="invisible, forget" />

Вот так надо. А вы тут SEO! seo! Мета тэги рулез!

Ну, раз это работает, то предлагаю тогда создать плагин для Wordpress, вставляющий это все в каждую страницу. И продавать его. Рынок безграничен.