В простейшем файле robots.txt используются два правила:
* User-agent: робот, к которому применяется следующее правило. * Disallow: URL-адреса, которые необходимо заблокировать.
Эти две строки рассматриваются как одна запись в этом файле. Можно включить любое необходимое число записей. В одну запись можно включить несколько строк Disallow и несколько User Agent.
Каждый раздел файла robots.txt обрабатывается отдельно; содержание предыдущих разделов не учитывается. Рассмотрим пример.
User-agent: * Disallow: /katalog1/
User-Agent: Googlebot Disallow: /katalog2/
В этом примере для поискового робота Googlebot будут запрещены только URL-адреса, включающие /katalog2/.
Вчера не понятно ночью было, где +3, где -2 странички. Сегодня не плохо апнуло :) На новом домене +2500 страниц 🍾
Можно ли вставить html-код из CSS ?
Ага :) Например: html-код цвета #ff0000 или URL рисунка :) А что вы хотите туда еще вставлять? 🚬
Видел у кого-то из форумчан в подписи бесплатный чекер прокси. Подскажите, пожалуйста.
[FAQ] по добыче прокси 🚬
Адсенсе ставьте, может быть не такие дорогие клики, зато надежно.
+1
Я вот домен прикупил, и теперь с нового домена РСЯ - не показывается, а со старого - показывается. Пришлось писать платонам, жду уже 4 дня.
Не могу зайти на сайт.
Это не язык программирования.
Это язык разметки :)
Взяли, через 2 недели удалили :(
Мои поздравления!
Почему? Сегодня эпидемия?
* User-agent: робот, к которому применяется следующее правило.
* Disallow: URL-адреса, которые необходимо заблокировать.
Эти две строки рассматриваются как одна запись в этом файле. Можно включить любое необходимое число записей. В одну запись можно включить несколько строк Disallow и несколько User Agent.
Каждый раздел файла robots.txt обрабатывается отдельно; содержание предыдущих разделов не учитывается. Рассмотрим пример.
User-agent: *
Disallow: /katalog1/
User-Agent: Googlebot
Disallow: /katalog2/
В этом примере для поискового робота Googlebot будут запрещены только URL-адреса, включающие /katalog2/.
Google не увидит, а вот Яндекс даже не знаю.
Вот раздела там точно нет. )
Это точно :)
если не ошибаюсь то будет так
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
User-agent: Yandex
Host: my-dle-site
Sitemap: http://my-dle-site.ru/sitemap.xml
Нет, если я не ошибаюсь, Яндекс не увидит ваши строки, начиная с 2 по 8 :) Проверьте здесь: http://webmaster.yandex.ru/robots.xml :)