mff

kavigol:
Можно ли вставить html-код из CSS ?

chernet:
Видел у кого-то из форумчан в подписи бесплатный чекер прокси. Подскажите, пожалуйста.

SlonoTOP:
Адсенсе ставьте, может быть не такие дорогие клики, зато надежно.

ewg777:
Это не язык программирования.

kimberlit:
Почему? Сегодня эпидемия?

В простейшем файле robots.txt используются два правила:

* User-agent: робот, к которому применяется следующее правило.
* Disallow: URL-адреса, которые необходимо заблокировать.

Эти две строки рассматриваются как одна запись в этом файле. Можно включить любое необходимое число записей. В одну запись можно включить несколько строк Disallow и несколько User Agent.

Каждый раздел файла robots.txt обрабатывается отдельно; содержание предыдущих разделов не учитывается. Рассмотрим пример.

User-agent: *
Disallow: /katalog1/

User-Agent: Googlebot
Disallow: /katalog2/


В этом примере для поискового робота Googlebot будут запрещены только URL-адреса, включающие /katalog2/.

kimberlit:
Вот раздела там точно нет. )

Andryw:
если не ошибаюсь то будет так

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
User-agent: Yandex
Host: my-dle-site

Sitemap: http://my-dle-site.ru/sitemap.xml