Слезы от robots.txt

123
Неадекватный
На сайте с 12.07.2012
Offline
12
#11
Stop-TussiN:
И яндекс показывает

Яндекс много чего показывает, больше верьте.

Смотрите по топовым и посещаемым сайтам, для примера.

И вообще, разницы в этом нет существенной.

Докапываться можно до каждой запятой.

Возьмите, к примеру, картинку на сайте http://www.webmaster.yandex.ru/ при нажатии на карандаш, там хост будет 2-м по счету, а в документации он последний.

Разницы нет.

[Удален]
#12
Яндекс много чего показывает, больше верьте.
Смотрите по топовым и посещаемым сайтам, для примера.
И вообще, разницы в этом нет существенной.

То есть яндекс сам придумал директиву host и ему нельзя верить, когда он показывает как нужно ее писать? :D Бред

Смотрите по топовым и посещаемым сайтам, для примера.

Примеры будут? Или как всегда, пустая болтовня?

Вот мои:

http://ria.ru/robots.txt

http://kp.ru/robots.txt

http://www.aif.ru/robots.txt

http://www.interfax.ru/robots.txt

VertuOzz
На сайте с 20.07.2010
Offline
123
#13
kruchen:
Ребят, прислали мне тут на аудит сайт... и просто начинаю трястись от смеха, а на глазах слезы...

Так на то он и аудит, чтоб ошибки исправлять, не? Если это у вас вызывает истерику, подумайте, может все таки завод?

Неадекватный
На сайте с 12.07.2012
Offline
12
#14

ОК, есть сайты, на которых вообще нет роботса — живут и процветают.

Что делать? Бежать создавать?

Тег noindex Яндекс тоже предлагает использовать, но не обязует.

И не факт, что будет учитываться.

На банкиРу «Host: www site ru:80», что, в Смоленск слетать теперь? Или заходить только по site Ru:80?

---------- Добавлено 05.09.2012 в 00:00 ----------

И зачем тогда карту сайта с протоколом писать, может просто, «как надо», без http?

Еще раз говорю, разницы существенной нет.

dominatos
На сайте с 18.01.2008
Offline
101
#15

Вам батюшка нужно пройти курс лечения, если такое уже вас смешит? Может у вас скоро и вставать будет на что-то подобное?😮

Услуги хостинга (http://alteron.net) - обращайтесь. Всегда будем рады!
V1
На сайте с 12.06.2012
Offline
21
#16

Лучше конечно такая запись:

User-agent: *

Disallow: /out.php

User-agent: Yandex

Disallow: /out.php

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Обзоры ноутбуков, мобильных телефонов, apple и компьютерных игр (http://hi-techzoom.com)
Regred
На сайте с 27.08.2012
Offline
23
#17

Это еще не самый худший вариант написания.

What protection?
K
На сайте с 30.08.2011
Offline
47
#18
LEOnidUKG:
А если укажу php, что случиться? Я могу и txt указать, а могу и вообще без расширения. Офигеть да?

Мужик, чо!!!

А ваще, сидят какие-то злыдни, советуют пойти на завод, в больничку полечится... пойду утоплюсь...

А по теме, есть инструкция, по которой файл составляется, соответственно желательно, чтобы роботс.тхт ей соответствовал. А если делать так, как не рекомендуют, так тогда надо еще скрытый контент вставлять да поведенческие накручивать и тащится от своего нигилизма.

Вообще, холивар раздули из ничего )))

kikimor
На сайте с 22.09.2005
Offline
124
#19
kruchen:
Мужик, чо!!!

А ваще, сидят какие-то злыдни, советуют пойти на завод, в больничку полечится... пойду утоплюсь...

А по теме, есть инструкция, по которой файл составляется, соответственно желательно, чтобы роботс.тхт ей соответствовал. А если делать так, как не рекомендуют, так тогда надо еще скрытый контент вставлять да поведенческие накручивать и тащится от своего нигилизма.

Вообще, холивар раздули из ничего )))

Ну дык, тут же не психоаналитики, что бы в Ваших эмоциях разбираться. А поржать мы завсегда готовы.

theKashey
На сайте с 22.02.2012
Offline
70
#20

Cказано что sitemap должен иметь тип( а не расширение) XML.

mime-type, content-type, но не банальные три буквы после точки в URL( и вообще URL - не имя, это адрес)

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий