Файл robots. Закрыть ресурс для индексации

11

princes

11 марта 2007, 21:49

563

Привет всем:) подскажите ,пожалуйста, или киньте ссылку как правильно составить файл robots , чтобы закрыть ресурс для индекации. это возможно при помощи тега meta content?

Заранее спасибо

75

FishB1

11 марта 2007, 22:03

#1

Вы определитесь сначала что Вы использовать хотите - роботс или метатеги. Можно и так и так. Если роботс, то

User-Agent: *

Disallow: /

Если метатеги, то <meta name="robots" content="noindex,nofollow">

С уважением, Евгений Г.

123

Anaxa

11 марта 2007, 22:32

#2

princes:
Привет всем:) подскажите ,пожалуйста, или киньте ссылку как правильно составить файл robots , чтобы закрыть ресурс для индекации. это возможно при помощи тега meta content?
Заранее спасибо

Почитайте вот это: softdevelop.ru/articles3.html

P

11

princes

11 марта 2007, 22:38

#3

FishB1:
Вы определитесь сначала что Вы использовать хотите - роботс или метатеги. Можно и так и так. Если роботс, то
User-Agent: *
Disallow: /

Если метатеги, то <meta name="robots" content="noindex,nofollow">

Спасибо:) А в чем собственно , разница , файл сделать или тэги прописать? Объясните если Вам не трудно

K

737

Kost

11 марта 2007, 22:54

#4

Через robots.txt проще, т.к. файлов то много. А главное, роботу не надо скачивать все файлы, чтобы проверить, надо ли их индексировать , скачал robots.txt и сразу понял, что к чему.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

S

319

semenov

12 марта 2007, 07:22

#5

FishB1:

Если метатеги, то <meta name="robots" content="noindex,nofollow">

или

Курс биткоина превысил $50 тысяч

Что делать, чтобы попасть в ответы Google Bard