Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

DomainsManager
На сайте с 27.03.2010
Offline
24
DomainsManager
868

привет всем. сорри если такая тему уже существует, заниматься поиском времени нет)

Сайт построен на ajax, вот решил роботс.тхт создать.

например:

User-agent: *
Allow: /index.php
Allow: /about.php
Disallow: /

Правильно ли понимаю эту запись: всем поисковым роботом запрещается индексация всего сайта кроме страниц index.php и about.php?

Ещё вопрос: у меня ещё записан реврайт через htaccess, например, http://somesite.com/about ведёт к about.php, так вот, для поискового робота это одна и та же страница или разные?? Или лучше записать Allow: /about.

заранее спасибо.

K
На сайте с 05.03.2010
Offline
1
Kryaker
#1
DomainsManager:
у меня ещё записан реврайт через htaccess, например, http://somesite.com/about ведёт к about.php, так вот, для поискового робота это одна и та же страница или разные?? Или лучше записать Allow: /about.
заранее спасибо.

А для робота это не две разные страницы?

twitter.com/Kryaker - Айтишник
[Удален]
#2

лучше оставить 1ый вариант :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий