Помогите новичку c robots.txt

N
На сайте с 18.11.2010
Offline
36
854

Все никак не могу втыкнуть, что надо прописывать в файле урлы или папки на сервере?

Если папки, то как разобраться что к чему, какие папки за что отвечают (понимаю что этот вопрос может показаться смешным, но я не програмер, а файл надо составить)? може т есть какие то рекомендации

Всем заранее спасибо.

MM
На сайте с 02.03.2012
Offline
22
#1

я бы тоже почитала об этом

Alex DeLarge
На сайте с 25.02.2010
Offline
35
#2
Новости 3D принтеров и 3D печати (http://3dpmake.com)
F
На сайте с 16.01.2010
Offline
267
#3
nayticr:
Все никак не могу втыкнуть, что надо прописывать в файле урлы или папки на сервере?

Папки

nayticr:
Если папки, то как разобраться что к чему, какие папки за что отвечают (понимаю что этот вопрос может показаться смешным, но я не програмер, а файл надо составить)?

Если вы считаете, что данный раздел сайта не должен индексироваться, то вы его запрещаете, если нет, то не запрещаете. И программистом быть для этого не нужно. Обычно сразу закрываются технические разделы (папки), дубли контента, не информационные данные и прочее.

kimberlit
На сайте с 13.03.2007
Offline
370
#4
futuristian:
Папки

Урлы........

N
На сайте с 18.11.2010
Offline
36
#5
kimberlit:
Урлы........

Так папки или урлы??

kimberlit
На сайте с 13.03.2007
Offline
370
#6
nayticr:
Так папки или урлы??

Что для бота есть папка?

N
На сайте с 18.11.2010
Offline
36
#7
kimberlit:
Что для бота есть папка?

Я откуда знаю?

SN
На сайте с 10.05.2012
Offline
14
#8

для бота нет понятия такого как папка

урлы с тем текстом который впишете после Disallow: не будут индексироваться если нет спецсимволов $ или *

например Disallow: /razdel/

не будет индексироваться всеь раздел, т.к. там есть этот текст

если Disallow: page2.html

то не будет индексироваться только страница, т.к. такого в других урлах не встречается

а вообще вот

siv1987
На сайте с 02.04.2009
Offline
427
#9
nayticr:
Я откуда знаю?

Не обязательно знать, достаточно подумать. Доступ к папке как происходит? Верно - по адресу (урлу). "Закрыть папку" означает закрыть урл (адрес) этой папки. Как составлять запреты есть по ссылки которой вам дали выше. http://www.google.ru/search?client=opera&rls=ru&q=robots.txt&sourceid=opera&ie=utf-8&oe=utf-8

F
На сайте с 16.01.2010
Offline
267
#10
kimberlit:
Урлы........

Тогда уж ни то и ни другое, а вообще "разделы и страницы".

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий