Форум Практика оптимизации Doorways & Cloaking

Robots

N
На сайте с 08.03.2001
Offline
22
Nicholas
1085

Насколько важен meta тэг Robots при условии, что индексировать надо все документы с сайта!?

Николай
AiK
На сайте с 27.10.2000
Offline
257
AiK
#1

Если Вы внимательно читали спецификацию robots exclusion protocol (robots.txt и robots meta tag), то могли обратить внимание на то, что они призваны ограничивать индексацию отдельных страниц, а не способствовать ей. Соответсвенно отсутсвие этого метатега, равно как и его наличие помочь в индексации никак не может.

С уважением,

Артём.

Как в robots.txt закрыть Как в google прописать Google Updates - апдейты
N
На сайте с 08.03.2001
Offline
22
Nicholas
#2

Подскажите по синтаксису Robots.txt !?

Если HTTP User-Agent у робота довольно длинный (Openfind data gatherer, Openbot/3.0+(robot-response@openfind.com.tw;+http://www.openfind.com.tw/robot.html)) достаточно ли будет написать только начало (Openfind или Openbot) ?

PS: на http://www.robotstxt.org/ написано просто "Openfind data gatherer". Верить?

[This message has been edited by Nicholas (edited 09-08-2001).]

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий