Форум Практика оптимизации Любые вопросы от новичков по оптимизации

какой роботс.тхт правильный?

12
A
На сайте с 06.11.2010
Offline
128
Alkoshenko
888

Вот такой 

User-agent: *

Disallow: /sendmail/

Disallow: /opr/



User-agent: Yandex

Disallow: /sendmail/

Disallow: /opr/

Host: www.сайт.ru



Sitemap: http://www.сайт.ru/sitemap.xml

или такой 

User-agent: *

Disallow: /sendmail/

Disallow: /opr/

Host: www.сайт.ru

Sitemap: http://www.сайт.ru/sitemap.xml
Mr.Smile
На сайте с 10.01.2011
Offline
65
Mr.Smile
#1

Первый лучше!

<--TTT-->
F
На сайте с 12.03.2007
Offline
85
fatalenergy
#2

1-й..........

Как начать тренироваться (http://max-body.ru/quick_start.html), Бодибилдинг форум (http://fatal-energy.com/). Обменяюсь/куплю ссылками со статей (или статьями) с сайтами бодибилдинг/фитнес тематики.
R
На сайте с 04.10.2010
Offline
27
ryno
#3
Mr.Smile:
Первый лучше!

это почему?

Mr.Smile
На сайте с 10.01.2011
Offline
65
Mr.Smile
#4
ryno:
это почему?

Покачену!

А если серьёзно, то первый более оптимизирован для яндекса! Тем более что директиву Host понимает только Яндекс, Гугл её не знает. А так оба правильные. Можно ещё Crawl-delay: 0.5 добавить, что б Яндекс быстрей ходил по сайту.

Яндекс отказался от учета Управление скоростью обхода сайта Вопрос по региону
kbv79
На сайте с 24.03.2007
Offline
167
kbv79
#5

2-й.

Он меньше байт весит, значит быстрее загрузится.

Mr.Smile
На сайте с 10.01.2011
Offline
65
Mr.Smile
#6
kbv79:
значит быстрее загрузится

У меня есть robots.txt вообще на 5 агентов! И всё отлично!

sear4er
На сайте с 04.03.2010
Offline
756
sear4er
#7
Mr.Smile:
У меня есть robots.txt вообще на 5 агентов! И всё отлично!

Вопрос не в том у кого сколько агентов, а какой лучше. Согласен с kbv79.

Профессиональный SEO аудит с гарантией результата (форум). ( /ru/forum/824674 ) EVOLUTION SEO - Оптимизация, продвижение сайтов, вывод из под фильтров (личный сайт). ( https://evoseo.ru ) Бесплатные SEO консультации. ( https://evoseo.ru/seo-consultaciya/ )
Dterw
На сайте с 12.05.2009
Offline
95
Dterw
#8
Mr.Smile:
Покачену!

А если серьёзно, то первый более оптимизирован для яндекса! Тем более что директиву Host понимает только Яндекс, Гугл её не знает. А так оба правильные. Можно ещё Crawl-delay: 0.5 добавить, что б Яндекс быстрей ходил по сайту.

До чего дошли, уже роботс оптимизуруют под яндекс 😂 Второй лучше. Никогда не указывал указывал специально для яндекса юзерагент. Проблем не было.

webeditor
На сайте с 12.12.2010
Offline
108
webeditor
#9

Не знаю какой лучше, но я использую второй вариант, проблем нет.

Куплю любой ваш сайт (https://goo.gl/bFFa4p) Без сомнения лучший недорогой хостинг (https://goo.gl/QaAKmT)
master_jeday
На сайте с 15.05.2010
Offline
231
master_jeday
#10

Голосую за вариант №1. Второй неправильно составлен, к тому же.

Дорвеи на заказ с гарантией трафика ( /ru/forum/993918 ) >>> Осторожно, в телеге/скайпе есть клоны! Проверяйте, что общаетесь именно со мной через личку!
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий