www or not www

12
GEREM
На сайте с 29.03.2005
Offline
139
2087

За последние две недели уже второй сайт начинает отображаться без www.

Причём у одного из них в robots.txt прописан Host и прописан верно, при этом http://www.yandex.ru/cgi-bin/test-robots?host=site.ru говорит, что версия без www, которая сейчас и находится в серпе, запрещена к индексации. :eek:

Сайтам по два месяца. На позиции (тьфу-тьфу-тьфу) это существенно не повлияло.

Вопросы собственно такие: 1) это тенденция? 2) если да, то чем это обусловлено? 3) почему проигнорирован robots.txt?

С уважением, Минин Михаил. mihailminin.livejournal.com (http://mihailminin.livejournal.com)
SR
На сайте с 17.11.2005
Offline
214
#1

А с robots.txt точно ничего не напутали? Вроде все нормально и тенденции не наблюдаю.

GEREM
На сайте с 29.03.2005
Offline
139
#2

User-agent: Yandex

Disallow: /home2.php

Host: www.***.ru

mustofik
На сайте с 15.05.2005
Offline
112
#3
GEREM:
За последние две недели уже второй сайт начинает отображаться без www.
Причём у одного из них в robots.txt прописан Host и прописан верно, при этом http://www.yandex.ru/cgi-bin/test-robots?host=site.ru говорит, что версия без www, которая сейчас и находится в серпе, запрещена к индексации.
Сайтам по два месяца. На позиции (тьфу-тьфу-тьфу) это существенно не повлияло.
Вопросы собственно такие: 1) это тенденция? 2) если да, то чем это обусловлено? 3) почему проигнорирован robots.txt?

ждите прихода склейщика/расклейщика, кстати говорят приходит не так уж и часто как хочется ...

Segey
На сайте с 23.08.2005
Offline
404
#4

Matik говорил, что хрен дождешься...

Brexit - уже совсем рядом. (https://about-this-model.blogspot.com/2019/03/brexit.html)
SS
На сайте с 03.09.2004
Offline
141
#5
GEREM:
1) это тенденция?

Это глюк, причем распространенный.

Бывали случаи, что расклеивались даже давно слепленные полностью идентичные зеркала. Одним из вариантов объяснения сего факта было версия, что поисковик мог обнаружить ссылку на неосновное зеркало и по каким-то внутренним причинам не отдать главному, а опять разделить сайты и считать отдельно.

GEREM:
2) если да, то чем это обусловлено?

Сайты у Вас молодые. Склейка может занять продолжительное время - от недели до нескольких месяцев. Если будет совсем туго - здесь приводились рецепты на самый разный вкус, начиная от редиректов и заканчивая Disallow: / у неосновного зеркала. Вы сказали, что хост в роботсе прописан у одного сайта - пропишите у обоих.

GEREM:
3) почему проигнорирован robots.txt?

Если в нем нет косяков, то он не проигнорирован.

iseg:
На наш парсер robots.txt я не грешу, он за 5 лет эксплуатации вылизан до невозможности.

(с) iseg 2002 год.

С учетом недавней темы про robots.txt - это уже можно считать аксиомой. :)

Возможно, просто пока не была произведена склейка. Ждите. Если будет слишком туго - принимайте меры.

«Клянусь своей жизнью и любовью к ней, что никогда не буду жить ради другого человека и никогда не попрошу и не заставлю другого человека жить ради меня» (с) Джон Галт
[Удален]
#6
(с) iseg 2002 год. С учетом недавней темы про robots.txt - это уже можно считать аксиомой.

С тех пор столько тем про кривоту соблюдения роботса яндексом было, что уж и не перечислишь :)

SS
На сайте с 03.09.2004
Offline
141
#7
Miha Kuzmin (KMY):
С тех пор столько тем про кривоту соблюдения роботса яндексом было, что уж и не перечислишь

Вообще говоря, мне хочется верить Илье Сегаловичу. Да, темы были, но имхо во многих из них неправильная обработка роботса была связана с криворукостью вебмасеров, а не глюками парсера. Возможно парсер тоже не идеален, но уже за последние 4 года его вылизали еще лучше, чем то было в 2002 году.

[Удален]
#8

Лучше - это конечно наверняка, только вот баги появляются с солидным постоянством. Я уж не буду акцентировать на том, что разные боты яндекса интерпретируют роботс по разному :)

SS
На сайте с 03.09.2004
Offline
141
#9
Miha Kuzmin (KMY):
Я уж не буду акцентировать на том, что разные боты яндекса интерпретируют роботс по разному

Некоторые вообще его когда-то игнорировали(ют). Об этом были большие споры как минимум вот тут и тут.

[Удален]
#10

Про это я вообще молчу. Ибо по мнению яндекса, це не боты 😂

p.s. по ссылкам не ходил, но понятно что там :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий