вопрос по robots.txt

12
MF
На сайте с 14.04.2006
Offline
0
1148

Здравствуйте, долго искал, не нашел нигде ответа...

Как в роботсе сайта прописать, что он есть не основное зеркало, не затрагивая роботса главного зеркала, тоесть тока внутри зеркала сайта?

может ссылочку кинете, где найти сию информацию....

p.s. Заранее спасибо, за ответ на столь идиотский, по вашему мнению, вопрос:)

MF
На сайте с 14.04.2006
Offline
0
#1

нихто не знает?

K
На сайте с 31.01.2001
Offline
737
#2

По определению все зеркала должны выдавать одно и то же, в т.ч. и robots.txt. Однако, раньше в хелпе Яндекса был пример, как одним robots.txt выдавать разное содержание. Это делалось на SSI в зависимости от имени запрашиваемого хоста.

Откопать пример?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Highscreen
На сайте с 09.05.2005
Offline
158
#3

http://webmaster.yandex.ru/faq.xml?id=508490#wrongname

Тут по моему достойно написано. Если я правильно поняла вопрос.

MF
На сайте с 14.04.2006
Offline
0
#4

Да, но там нету данных , как прописать в роботсе host 😕

Собственно, это я и пытался спросить

Тоесть вопрос такой:

Как прописать в роботсе сайта, что этот сайт, в роботсе которого пишем,- зеркало(ццц.ууу1.ру), а этот(ццц.ууу2.ру) основной?

FlyAway
На сайте с 01.06.2005
Offline
439
#5

max_from_moscow, зеркало делаем через 301 редирект, а основной домен в robots.txt пописываем например так:

User-Agent: Yandex

Disallow: /admin/

Host: www.домен.ru

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
MaulNet
На сайте с 07.08.2005
Offline
348
#6

Небольшой моментик у меня создал недоумение. Допустим, папка главная сайта - в ней /html/ (иногда это /www/) со всеми файлами и, собственно, с robots.txt, /cgi-bin/, /logs/ и другие служебные папки. Так вот, если в robots.txt прописать Disallow: /cgi-bin/, например, будет ли поисковик искать эту папку относительно папки /html/ (то бишь /html/cgi-bin/) или додумается спуститься на ступень ниже? Вроде бы очевидная вещь, да вот хотелось бы уточнить.

K
На сайте с 31.01.2001
Offline
737
#7

У сайта одна главная папка, называется /. В ней должен лежать robots.txt и относительно нее все считается, причем с точки зрения HTTP-клиента. А где физически лежит cgi-bin и остальное - неважно.

И еще подозреваю, что папку logs сервер клиентам не показывает вообще, поэтому вопрос про нее не имеет смысла.

C
На сайте с 08.05.2005
Offline
73
#8
Kost:
У сайта одна главная папка, называется /.

а как же такая организация?

/public_html/файлы сайта

и роботс читается именно тот который лежит не здесь /

а в файлах сайта /public_html/файлы сайта

Junior
На сайте с 19.04.2005
Offline
58
#9
chelll:
а как же такая организация?
/public_html/файлы сайта

и роботс читается именно тот который лежит не здесь /
а в файлах сайта /public_html/файлы сайта

символ "/" обозначает корень сайта. В случае с записью /public_html/файлы сайта получаем, что

"/" = "/public_html/файлы сайта"

Труженик КП, ТЗ и ИА
nickspring
На сайте с 29.03.2006
Offline
228
#10

/bla/bla/bla/public_html/файлы_сайта - физический путь к корню сайта в формате Unix

==

/

/forum/

....

в контексте конкретного сайта обозначают путь к страницам сайта относительно его корня.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий