Правильный ли robots.txt?

N

11

nuvo

17 июня 2008, 19:01

#21

Хацкеры - это для замазки а нужно для другой темы.

в корне лежит robots.txt пустой и лежит robots.php в .htaccess прописано:

RewriteEngine On

RewriteRule ^robots.txt$ /robots.php

сам robots.php -

<?

header('Content-type: text/plain');

?>

директивы пошли

но он показывается - где то что то пропустил?

272

Алексей Барыкин

17 июня 2008, 19:12

#22

nuvo:
Хацкеры - это для замазки а нужно для другой темы.
в корне лежит robots.txt пустой и лежит robots.php в .htaccess прописано:
RewriteEngine On
RewriteRule ^robots.txt$ /robots.php

сам robots.php -
<?
header('Content-type: text/plain');
?>
директивы пошли

но он показывается - где то что то пропустил?

А в чем предполагаемый изюм?

https://adminbook.ru/

N

11

nuvo

17 июня 2008, 19:35

#23

Алексей Барыкин:
А в чем предполагаемый изюм?

походу нет изюма, в моем случае наверное только поможет сloaking для выдачи разных robots.txt - один роботс для 1 пс, другой для 2 пс и т.д. и какой то для не пс.

[Удален]

17 июня 2008, 19:38

#24

Ctulhu:
Почему-то мне казалось, что на запрос подобных файлов сервер выдает ю дон хев пермишн и т.д. по дефолту. Будем знать и прогрессировать свою паранойю 8-)

Ну да, сервер выдаст:

You don't have permission to access /.htaccess on this server.

Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.

272

Алексей Барыкин

17 июня 2008, 19:41

#25

nuvo:
походу нет изюма, в моем случае наверное только поможет сloaking для выдачи разных robots.txt - один роботс для 1 пс, другой для 2 пс и т.д. и какой то для не пс.

по моему Вы изобретаете велосипед.

Откройте для себя User-agent

Пример:


User-agent: Slurp #секция для Yahoo

Crawl-delay: 5

Disallow: /page1.html



User-agent: Yandex #секция для Yandex 

Disallow: /page2.html

Host: www.site.ru

Sitemap: http://www.site.ru/sitemap.xml



User-agent: googlebot #секция для Google

Disallow: /page3.html



User-agent: * #секция для прочих ПС

Disallow: /page4.html

166

texter

17 июня 2008, 20:05

#26

alger:
Для Яндекса и Google можно еще директиву Sitemap: добавить

А кто-нибудь знает, можно ли как-то в robots.txt две карты сайта добавить по разным адресам? Например, карту основного сайта и карту форума?

Курс биткоина превысил $50 тысяч

Что делать, если ваша email-рассылка попала в спам