Главная доступна по нескольким адресам

W
На сайте с 13.10.2009
Offline
10
1072

Такая ситуация.

весь сайт неуник, сделан на каком-то рукописном движке.

я хочу в роботс закрыть весь сайт от индексации кроме главной, и продвигать только главную с уник текстом и НК запросами, а потом добавлять уник контент.

но главная доступна по нескольким адресам.

http://site.ru/

http://site.ru/index.html

http://site.ru/index.php

отсуда возникает вопрос по роботс, какой адрес разрешить в Allow?

Пока только так смог написать.

User-agent: *

Allow: /index.html

Disallow: /

Host: site.ru

кто что подскажет?

Talisman13
На сайте с 20.01.2007
Offline
211
#1
webin:
какой адрес разрешить в Allow?

А это все бессмысленно потому что прописано:

webin:
Disallow: /

И кстати хост только для Яндекса.

W
На сайте с 13.10.2009
Offline
10
#2

Disallow: / идет после Allow:/

сначала он разрешает индексировать один адрес, а все остальное запрещает.

в яндекс хелпе так написано,

да и вроде с недавнего времени гугл тоже понимает команду Allow:/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий