Файл robots.txt как правильно запретить индексировать

Так в чём проблема? Disallow: /component и иже с ними. А ещё есть тэг nofollow

Эту тему будут читать много людей, чем подробнее, тем меньше людей будут сталкиваться с возникшимися трудностями.

То есть пишем следующее:

Disallow: /component

Правильно?

А стоит ли указывать Disallow: /content и так далее по структуре. Ведь content исходит из component и я думаю не стоит так прописывать. Или я чего не понял?

Далее, можно прописать только: Disallow: /index.php? и все что идет после index.php? по структуре, думаю прописывать не надо?

А будут ли без проблем индексироваться sef ссылки, то есть оптимизированные под ПС.

Так как правильно сделать?

P.s. Один полный, развернутый ответ, отбросит множество вопросов.

При чем тут nofollow? Он для Я нужен?

Если я правильно понял структуру Вашего сайта, то роботс.тхт для Яндекса должен выглядеть примерно так:

User-agent: Yandex

Disallow: /component/

Disallow: /content/

Disallow: /jcomments/

Disallow: /mailto/

Disallow: /rafcloud/

Disallow: /search/

Disallow: /index.php?option*

Disallow: /index.php?view*

Host: www.site.ru

Если в чем-то сомневаетесь (например, будут ли открыты нужные страницы для индексации), то загружаете этот роботс в корень сайта и идете в панель вебмастера. Там есть функционал для проверки разрешения индексации конкретных страниц.

Да, Яндекс тоже научился понимать этот тег

Вот тут смотрю на два ответа и вижу два расхождения и конкретно, прям указывая конкретно на правильный ответ я не вижу. Извините конечно, но я вот не вижу.

Первый ответ от Chaotic, указывал что вот так будет правильно: Disallow: /component

Второй ответ от Hristofor, указывал что вот так будет правильно: Disallow: /component/

Различие кто-нибудь видет? Я прекрасно вижу — это слэш.

Риторический вопрос, так как правильно запретить индексировать? Чей ответ правильный?

Прям как в школе, при доказательстве теоремы.

У себя такие делаю роботсы для Джумла, без форума, социальной сети и комментариев. Обязательно включен ЧПУ. Все отлично индексируется, все страницы нужные в индексе. Дублей практически нет.

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /component/

Disallow: /index.php

essey добавил 12.10.2010 в 00:10

Где стоит слеш там закрывается директория, там где беза слеша там закрывается просто страница начинающаяся например с index.php или search.php, send.php

index.php или send.php к примеру, это не директории, это страницы с командами и данными. Надеюсь понятно выразился.

самый правильный вариант

User agent: *

Disallow: /

Host: site.ru

и вообще не париться, фильтры, апы, недоапы и т.д.

зы: сколько тем было, сколько есть инфы в сети.. а поиском так и не научились пользоваться.. обидно однако.

Оба правильные. Первый запрещает, как файл /component.html, так и деррикторию, а второй только деррикторию.

Совсем не правильный вариант, кроме яндекса Host никому не нужен, поэтому правильно будет:

User agent: Yandex

Disallow: /

Host: site.ru

User agent: *

Disallow: /

ARepik, жгешь, с "Disallow: /" сайт вообще никому не нужен будет.

И кстати в анализаторе Яндекса такой блок обрабатывается нормально.

Научитесь сами составлять robots.txt, а потом советуйте.

_han_, у тебя кстати тоже ошибочка есть. :)

для одаренных

да 10 смайликов нужно было поставить?