Подробно о robot.txt

124

Vitiai

26 июня 2007, 11:27

812

Еще немного времени и у моего сайта будет зеркало, хотелось бы на это зеркало поставить robot.txt чтобы робот посчитал что это зеркало, а не главный сайт. Но я не знаю как этот робот.txt делать, где создавать и как прописывать не могли бы подсказать?

Компания по устройству буронабивных свай (https://drilling-msk.ru/)

T

181

Timen

26 июня 2007, 11:49

#1

Vitiai:
Но я не знаю как этот робот.txt делать, где создавать и как прописывать не могли бы подсказать?

Тут Вы найдете ответы:

/ru/forum/86666

http://webmaster.yandex.ru/faq.xml?id=508490

Timen (http://www.timen.com.ua/)

V

124

Vitiai

26 июня 2007, 12:04

#2

я прочитал и не понял....

Я что должен на своем сервере создать блокнот назвать его robot.txt затем в нем должен записать вот это

User-agent: Yandex

Disallow: /cgi-bin

Host: www.site.ru

и все????

V

124

Vitiai

26 июня 2007, 17:15

#3

А в какой папке в фтп robot.txt должен находиться в htdocs? или просто так валяться?

MX

8

M@ximus

26 июня 2007, 18:08

#4

Vitiai:
А в какой папке в фтп robot.txt должен находиться в htdocs? или просто так валяться?

Если я не ошибаюсь, то robot.txt должен находится в папке, в которой располагается ваш сайт.

153

Данил

26 июня 2007, 18:41

#5

Vitiai:
А в какой папке в фтп robot.txt должен находиться в htdocs? или просто так валяться?

Роботс.тхт должен лежать в корневом каталоге сайта. А вообще он может быть динамическим, лежать в какой угодно паке, главное чтобы тип данных был текстовый и файл был доступен по адресу site.ru/robots.txt :);)

Покупаю сайты (/ru/forum/394337). Заработай себе на екро — Сапа (http://www.sape.ru/r.0d0e35f6a7.php). Для продвжиения быстро и на автомате (http://www.seowizard.ru/r.0d0e35f6a7.php)!

V

124

Vitiai

26 июня 2007, 19:10

#6

а как проверить все ли правильно написано в нем и работает ли он?

Q

12

Quietmars

26 июня 2007, 19:22

#7

Все просто... создаешь файл в блокноте robots.txt

Пишешь в нем:

User-agent: Yandex - только для Яндекса (все остальные роботы будут игнорировать)

Disallow: /cgi-bin - запретить к индексации на сайте. (по инструкции должна быть хотя бы одна такая строка) Здесь пишешь, что робот Яндекса не должен видеть.

Host: www.site.ru - сюда пишешь зеркало, которое Яндекс должен считать главным (имеет значение с www или без)

Помещаешь файл в корневой каталог, чтобы от был доступен по адресу site.ru/robots.txt

Составление файла robots.txt Платон Щукин: Почему робот Выбор главного зеркала для

V

124

Vitiai

26 июня 2007, 19:26

#8

вот оцените прописал робот.txt правда не знаю правильно ли все проверьте, и не знаю правильно ли я его запихнул

User-Agent: *

Disallow: /

Host: www.alfameds.ru

User-agent: Yandex