Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Совет по поводу Robots.txt

jucik2008
На сайте с 27.08.2009
Offline
12
jucik2008
313

Привет всем! У меня есть два варианта роботса, подскажте пожалуйста какой из них найболее лучше и почему?

1)

User-agent: Yandex
Disallow: /backup/
Disallow: /engine/
Disallow: /templates/
Disallow: /language/
Host: delay-dengi.net

User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /templates/
Disallow: /language/

2)

User-agent: *
Disallow: /user/
Disallow: /print : page,*,*.html
Host: delay-dengi.net

Или может есть вариант получше?

Интересует заработок на файлообменниках (http://delay-dengi.net)? Обращайся в аську или пиши в личку. gogetlinks.net (http://gogetlinks.net/register_user.php?inv=5hyrjg) - система продвижения сайтов
jcrush
На сайте с 04.07.2004
Offline
371
jcrush
#1

смотря какой эффект вам нужен

» Блог (http://blog.stfw.ru/) - SEO-заметки. ДВчат: @dvchat (https://t.me/dvchat)
jucik2008
На сайте с 27.08.2009
Offline
12
jucik2008
#2
jcrush:
смотря какой эффект вам нужен

Чтоб сайт индексировался хорошо поисковыми ботами и не было повторов страниц.

vinic
На сайте с 06.05.2005
Offline
126
vinic
#3

Disallow: /user/

Disallow: /index.php

Disallow: /favorites/

Disallow: /index.php?do=register

Disallow: /index.php??do=lastcomments

Disallow: /2009/

Disallow: /2010/

Disallow: /addnews.html

Disallow: /page/

Disallow: /engine/

Disallow: /print : page,*,*.html

Disallow: /раздел/page (раздел замени на свой и сделай по каждому)

jucik2008
На сайте с 27.08.2009
Offline
12
jucik2008
#4
vinic:
Disallow: /user/
Disallow: /index.php
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /index.php??do=lastcomments
Disallow: /2009/
Disallow: /2010/
Disallow: /addnews.html
Disallow: /page/
Disallow: /engine/
Disallow: /print : page,*,*.html
Disallow: /раздел/page (раздел замени на свой и сделай по каждому)

Огромное спасибо за помощь. Только вот с Disallow: /раздел/page (раздел замени на свой и сделай по каждому) не совсем понял:(

vinic
На сайте с 06.05.2005
Offline
126
vinic
#5
jucik2008:
Огромное спасибо за помощь. Только вот с Disallow: /раздел/page (раздел замени на свой и сделай по каждому) е совсем понял:(

Допустип если урл раздела

site.ru/razdel/ то пишем Disallow: /razdel/page и так все разделы

jucik2008
На сайте с 27.08.2009
Offline
12
jucik2008
#6
vinic:
Допустип если урл раздела

site.ru/razdel/ то пишем Disallow: /razdel/page и так все разделы

А разделы для чего закрывать, ведь там тоже есть контент?

jcrush
На сайте с 04.07.2004
Offline
371
jcrush
#7

Disallow: /razdel/*

как вариант

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#8
vinic:
Допустип если урл раздела

site.ru/razdel/ то пишем Disallow: /razdel/page и так все разделы

Зачем все разделы прописывать?

Disallow: /*/page

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий