Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Норм такой robots.txt?

12
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#11

Andryw, почитай ответ #6, и сам найди ошибку.

[Удален]
#12
kimberlit:
Andryw, почитай ответ #6, и сам найди ошибку.

если не ошибаюсь то будет так


User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
User-agent: Yandex
Host: my-dle-site

Sitemap: http://my-dle-site.ru/sitemap.xml

dica
На сайте с 02.05.2009
Offline
23
dica
#13
burunduk:
чтобы парсить было удобнее 😂

Лажа. Если надо, то найти sitemap поблем нет, как его не пихай и не обзывай.

хотя-бы через robots🚬

Каталог ссылок и статей автотематики (http://live-auto.ru/) Новый оконный форум (http://pkkshop.ru/forum/) Публикую статьи на тему интернет, SEO и т.д. (http://mir-live.ru/)
skrayu
На сайте с 09.11.2009
Offline
14
skrayu
#14
kimberlit:
skrayu, Andryw, между секциями нужна пустая строка.

между какими секциями?между строк?можно подробней?

дикий конверт траффа (http://katvin.com/?http://fotocash.ru/?ref=247028000) меняешь деньги?-меняй у проверенных!!! (http://www.menyala.ru/partner.asp?pid=7442)
[Удален]
#15
dica:
Если надо, то найти sitemap поблем нет,

:)

вы виде те суслика - нет, а он есть (с)

mff
На сайте с 21.02.2008
Offline
282
mff
#16
Andryw:
если не ошибаюсь то будет так

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
User-agent: Yandex
Host: my-dle-site

Sitemap: http://my-dle-site.ru/sitemap.xml

Нет, если я не ошибаюсь, Яндекс не увидит ваши строки, начиная с 2 по 8 :) Проверьте здесь: http://webmaster.yandex.ru/robots.xml :)

Управление репутацией в сети: https://timbook2.ru/
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#17
mff:
Нет, если я не ошибаюсь, Яндекс не увидит ваши строки, начиная с 2 по 8

Почему? Сегодня эпидемия? Вот раздела там точно нет. )

mff
На сайте с 21.02.2008
Offline
282
mff
#18
kimberlit:
Почему? Сегодня эпидемия?
В простейшем файле robots.txt используются два правила:

* User-agent: робот, к которому применяется следующее правило.
* Disallow: URL-адреса, которые необходимо заблокировать.

Эти две строки рассматриваются как одна запись в этом файле. Можно включить любое необходимое число записей. В одну запись можно включить несколько строк Disallow и несколько User Agent.

Каждый раздел файла robots.txt обрабатывается отдельно; содержание предыдущих разделов не учитывается. Рассмотрим пример.

User-agent: *
Disallow: /katalog1/

User-Agent: Googlebot
Disallow: /katalog2/


В этом примере для поискового робота Googlebot будут запрещены только URL-адреса, включающие /katalog2/.

Google не увидит, а вот Яндекс даже не знаю.

kimberlit:
Вот раздела там точно нет. )

Это точно :)

A
На сайте с 24.02.2010
Offline
2
Aladern
#19
jaypi:
с точки зрения безопасности

А что в этом не безопасного?

Публикуем интересные новости (http://www.science.yoread.ru/) и статьи на сайте! Советы как преодолеть кризис среднего возраста (http://www.health.yoread.ru/news.php?readmore=153)
[Удален]
#20
User-agent: Yandex
Disallow: /cache/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /files/
Disallow: /uploads/
Disallow: /engine/
Disallow: /user/
Disallow: /engine/rss.php
host: сайт
Sitemap: http://сайт/sitemap.xml

User-agent: *
Disallow:

вот на таком варианте остановиться можно

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий