Форум Поисковые системы Яндекс

вопрос про robots.txt

1 2345
wolf
На сайте с 13.03.2001
Offline
1183
wolf
#41
А кто может рассказать, как проверить отклик сервера?

http://www.searchengineworld.com/cgi-bin/servercheck.cgi

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
M
На сайте с 25.01.2001
Offline
57
melkov
#42

Cherny, данный конкретный скрипт не отличается от "большого робота" ничем, кроме версии user-agent'а.

В стандарте нигде не написано, с каким content-type должен передаваться robots.txt. Поэтому можно и так ответить: 

Content-type: text/robots.txt
:)

(хотя лучше все-таки не рисковать).

N
На сайте с 21.11.2001
Offline
152
Nicon
#43

Вопрос о размере файла robots.txt. В этой статье написано, что:

...при создании файла /robots.txt следует учитывать еще один фактор - размер файла... при большом количестве не подлежащих индексированию файлов размер /robots.txt становится слишком большим...

А где есть стандарты размеров файла? А опытным путем кто-то устанавливал размер?

M
На сайте с 25.01.2001
Offline
57
melkov
#44

Nicon, роботы многих поисковых систем имеют ограничения на размер скачиваемого файла. Об ограничениях ниже 100KB лично я никогда не слышал :).

Возможно, это и есть искомый размер.

N
На сайте с 21.11.2001
Offline
152
Nicon
#45

Уважаемый Melkov, подскажите пожалуйста, а форма добавления страниц, примет на рассмотрение страницу, если она запрещена в robots.txt к индексации? Не домен запрещен, а отдельная страница запрещена?

C
На сайте с 19.09.2001
Offline
120
Cherny
#46

Nicon, почитайте шикарный флейм на эту тему, может поможет.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
1 2345

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий