Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt для DataLife Engines

[Удален]
508

Составляю robots.txt для DataLife Engine. Посмотрите, пожалуйста: 

User-agent: *

Disallow: /backup/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /user/

Disallow: /admin.php

Disallow: /autobackup.php



User-agent: Yandex

Disallow: /backup/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /user/

Disallow: /admin.php

Disallow: /autobackup.php

Disallow: /*print:

Host: example.tld

Sitemap: http://example.tld/sitemap.xml

Может быть, нужно что-то добавить? Ничего не пропустил?

Заранее благодарен.

vandamme
На сайте с 30.11.2008
Offline
675
vandamme
#1

по моему кое-что даже лишнее

mephy
На сайте с 27.11.2008
Offline
108
mephy
#2

Если вас не затруднит! обьясните, что делает каждая строка, очень интересно

"Деревня удаленщиков на Бали. Возможность ПМЖ на Бали" (http://rd2dom.ru/)
I
На сайте с 22.10.2005
Offline
58
Iso
#3
mephy:
Если вас не затруднит! обьясните, что делает каждая строка, очень интересно

Подробно про robots.txt можно прочитать, например, здесь - http://robotstxt.org.ru/ (учитесь пользоваться поиском!)

А если коротко, то суть такая: Вы описали две секции "для всех" и "для Яндекса" (причём их порядок сейчас таков, что должна сработать только первая, если верить стандартам).

В оставшейся первой секции Вы запретили поисковым роботам индексировать страницы сайта, начинающиеся на следующие строки: /backup/ /cgi-bin/ /engine/ /language/ /templates/ /user/ /admin.php /autobackup.php

Во второй секции есть две дополнительных инструкции:

Host: example.tld

и

Sitemap: http://example.tld/sitemap.xml

Про них можно подробнее прочитать у самого Яндекса - http://help.yandex.ru/webmaster/?id=996567

и http://help.yandex.ru/webmaster/?id=1007070

SEO для AMP Stories: Google о защите личных Влияет ли на выдачу
[Удален]
#4
Iso:

А если коротко, то суть такая: Вы описали две секции "для всех" и "для Яндекса" (причём их порядок сейчас таков, что должна сработать только первая, если верить стандартам).

Не совсем так, использование robots.txt Яндекс ("Использование robots.txt" п.1 http://help.yandex.ru/webmaster/?id=996567):

"В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. "

Так что сработают обе секции.

Составление файла robots.txt Яндекс кобласит Помощь в фильтрации ботов

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий