Помогите прописать Robots.txt

F
На сайте с 20.06.2013
Offline
1
466

Всем привет ребята. кручусь на юкоз и блоггер около 3х лет. В данное время есть блог со стандартным доменом с ПейджРанком равным двум. Но если честно, я развивал сайты без роботс.тхт. Если кто может помочь, помогите пожалуйста, премного благодарен. И куда мне его вставлять и т.д. Всем заранее спасибо!

С
На сайте с 17.11.2012
Offline
113
#1
Farhad:
Всем привет ребята. кручусь на юкоз и блоггер около 3х лет. В данное время есть блог со стандартным доменом с ПейджРанком равным двум. Но если честно, я развивал сайты без роботс.тхт. Если кто может помочь, помогите пожалуйста, премного благодарен. И куда мне его вставлять и т.д. Всем заранее спасибо!

вставлять в корневую директорию сайта, а сам роботс тхт можешь сгенерить на сайтах-инструментах. Типа пр-су. Если хочешь чтобы индексировалось все - там просто будет в нем пусто, чтобы он был доступен всем поисковым машинам - в первом значении ставишь звездочку

User-agent: *

Disallow:

Volnorez
На сайте с 15.02.2013
Offline
65
#2

Роботс заливается в корень сайта. Пример роботса можно подсмотреть на любом сайте, например http://www.ucoz.ua/robots.txt

Добавлять туда разделы или страницы, которые не должны быть в индексе (дубли, профили и тд.)

Тестить свои ваяния удобно в вебмастере - скармливаеш ему ссылку, а он дает ответ - запрещено или разрешено, но надо аккуратно, а то можно закрыть нужное (печальный опыт есть).

W
На сайте с 13.12.2007
Offline
89
#3
Славка:
вставлять в корневую директорию сайта, а сам роботс тхт можешь сгенерить на сайтах-инструментах. Типа пр-су. Если хочешь чтобы индексировалось все - там просто будет в нем пусто, чтобы он был доступен всем поисковым машинам - в первом значении ставишь звездочку
User-agent: *
Disallow:

А что Вам даст "индексировать все"? В таком случае что с ним, что без него - один хр..

to TC - почитайте вот здесь http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449, как правильно составлять robots.txt.

E
На сайте с 21.09.2009
Offline
283
#4

Farhad, Вам сюда

F
На сайте с 20.06.2013
Offline
1
#5

Всем огромное спасибо, попытаюсь.

pan
На сайте с 24.10.2004
Offline
164
pan
#6
Farhad:
Всем привет ребята. кручусь на юкоз и блоггер около 3х лет

User-agent: *

Disallow: /

Мебельные фабрики Екатеринбурга (http://www.mebel66.ru/catalog/producers/) Дачный ГС жены (http://www.nafazendu.ru) Нет темы для бизнеса ? - да эта тема под ногами (http://www.uralstroyportal.ru/modules/forum/t1674.html)
02rus
На сайте с 30.05.2012
Offline
39
#7
pan:
User-agent: *
Disallow: /

😂😂😂

Позаимствовав идею российского Яndex и его слогана: “Яndex. Найдется всё”, PR-работники Yahoo разработали свой слоган для русскоговорящей аудитории - “Yahoo его знает”….
F
На сайте с 20.06.2013
Offline
1
#8

Ребята, возник еще один вопрос. А почему нельзя, чтобы поисковики индексировали весь сайт, все страницы? Чем это плохо?

02rus
На сайте с 30.05.2012
Offline
39
#9
Farhad:
Ребята, возник еще один вопрос. А почему нельзя, чтобы поисковики индексировали весь сайт, все страницы? Чем это плохо?

Что бы исключить дубли страниц и вообще весь ненужный хлам.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий