роботс для склейки

12
W
На сайте с 21.10.2005
Offline
131
844

добрый день.

уже поднимал этот вопрос. получил ответ. но странное дело - не помогло. Или пока не помогло. Яша склеил сайт с www и без Сейчас в поиске показывается без www, а нужно что бы был с www.

прописал роботс

User-Agent: *

Host: www.site.ru

Но до сих пор, всё по прежнему.

Когда начал смотреть увидел что этот роботс ничего не запрещает. Всё ли верно я сделал?

Постоянные ссылки я покупаю тут (https://gogetlinks.net/?inv=nh7yg7), изначально дороже, но потом окупается.
MASTAKILLA
На сайте с 11.05.2006
Offline
160
#1

Это в роботс:

User-Agent: Yandex

Disallow:

Host: www.site.ru

User-Agent: *

Disallow:

А вообще если у вас контент одинаковый с www и без, то сайт сам склеится.

AN
На сайте с 05.06.2004
Offline
243
#2
woodworld:
User-Agent: *
Host: www.site.ru

1. Host понимает только Яндекс

2. Дожжно присутствовать еще Disallow

User-Agent: Yandex

Disallow: /КакойНибудьНесуществующийКаталог

Host: www.site.ru

Размещу ваши баннеры на посещаемых сайтах. Места еще есть! Возможен безнал. (/ru/forum/324945) Нужны копирайтеры/рерайтеры - медики. Пишите в личку. (/ru/forum/676932)
W
На сайте с 21.10.2005
Offline
131
#3

MASTAKILLA,

т.е. то что Вы написали полностью запихнуть в роботс. Спасибо. Единственное не понял два момента.

Первый. Как это так если с и без конт одинаковый. Я сколько делал сайты никогда у меня сайт не склеивал - всегда делал и указывал везде с www, а без - вообще никаких работ не делал. И никогда ни склейки ничего не было.

AnNik,

как понять несуществующий каталог? не в плане не понимаю что такой несуществующий а в плане зачем он нужен и что это из себя представляет?

AnNik:
1. Host понимает только Яндекс

т.е. в принципе мой вариант был верен? т.к. меня только яша интересует.

Каширин
На сайте с 03.01.2004
Offline
1030
#4

Проблема в том, что Яндекс клеит очень долго. От месяца до двух.

woodworld, ваш вариант неверен - обязательно наличие инструкции Disallow!

MASTAKILLA:
Это в роботс:

User-Agent: Yandex
Disallow:
Host: www.site.ru

User-Agent: *
Disallow:

А вторая-то часть зачем? Она не запрещает ничего никому ;)

И несуществующие директории писать не нужно. Правильно - так:

User-Agent: Yandex

Disallow:

Host: www.site.ru

или так:

User-Agent: *

Disallow:

Host: www.site.ru

FlyAway
На сайте с 01.06.2005
Offline
439
#5

woodworld,

User-Agent: Yandex

Disallow:

Host: www.site.ru

Костя, а так:

User-Agent: *

Disallow:

Host: www.site.ru

неверно :)

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
Каширин
На сайте с 03.01.2004
Offline
1030
#6
FlyAway:
Костя, а так:

User-Agent: *
Disallow:
Host: www.site.ru

неверно :)

Это пощему же то неверно? (с)

Работать не будет? ;)

FlyAway
На сайте с 01.06.2005
Offline
439
#7
Каширин:
Это пощему же то неверно? (с)
Работать не будет? ;)

http://robotstxt.org.ru/RobotstxtErrors?v=lfi#h83-16 :)

Каширин
На сайте с 03.01.2004
Offline
1030
#8

Хотя в процессе обсуждения обнаружилось, что сам стандарт не лишен своих «косяков». Так, в разделе The Format первый раз в документе встречается термин «header», причем в предложении Unrecognised headers are ignored. Сотрудники Яндекса трактуют этот термин, как «строка» или «отдельная директива» в пределах записи (record), тогда использование директивы Host: в секции для всех роботов правомерно и не должно вызывать проблем. Однако сотрудники Google, видимо, трактовали термин «header» как запись, соответственно, GoogleBot полагает всю запись с директивой Host: неверно оформленной и игнорирует ее полностью!

Война форматов :) Применительно к данному примеру второй вариант будет работать на 100%. Но с точки зрения стандарта вообще - не стоит составлять действенные директивы для GoogleBot и включать в них директиву Host.

FlyAway
На сайте с 01.06.2005
Offline
439
#9
Каширин:
Однако сотрудники Google, видимо, трактовали термин «header» как запись, соответственно, GoogleBot полагает всю запись с директивой Host: неверно оформленной и игнорирует ее полностью!

Вот эта фраза ключевая. :)

Каширин
На сайте с 03.01.2004
Offline
1030
#10
FlyAway:
Вот эта фраза ключевая. :)

Андрей, в даном-то случае - пусть себе игнорирует ;) Я же не про красоту инженерной мысли говорю, а в ответ топикстартеру. Оба варианта будут работать. Наш с тобой спор в данном случае - схолластический 🚬

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий