- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
За последние две недели уже второй сайт начинает отображаться без www.
Причём у одного из них в robots.txt прописан Host и прописан верно, при этом http://www.yandex.ru/cgi-bin/test-robots?host=site.ru говорит, что версия без www, которая сейчас и находится в серпе, запрещена к индексации. :eek:
Сайтам по два месяца. На позиции (тьфу-тьфу-тьфу) это существенно не повлияло.
Вопросы собственно такие: 1) это тенденция? 2) если да, то чем это обусловлено? 3) почему проигнорирован robots.txt?
А с robots.txt точно ничего не напутали? Вроде все нормально и тенденции не наблюдаю.
User-agent: Yandex
Disallow: /home2.php
Host: www.***.ru
За последние две недели уже второй сайт начинает отображаться без www.
Причём у одного из них в robots.txt прописан Host и прописан верно, при этом http://www.yandex.ru/cgi-bin/test-robots?host=site.ru говорит, что версия без www, которая сейчас и находится в серпе, запрещена к индексации.
Сайтам по два месяца. На позиции (тьфу-тьфу-тьфу) это существенно не повлияло.
Вопросы собственно такие: 1) это тенденция? 2) если да, то чем это обусловлено? 3) почему проигнорирован robots.txt?
ждите прихода склейщика/расклейщика, кстати говорят приходит не так уж и часто как хочется ...
Matik говорил, что хрен дождешься...
1) это тенденция?
Это глюк, причем распространенный.
Бывали случаи, что расклеивались даже давно слепленные полностью идентичные зеркала. Одним из вариантов объяснения сего факта было версия, что поисковик мог обнаружить ссылку на неосновное зеркало и по каким-то внутренним причинам не отдать главному, а опять разделить сайты и считать отдельно.
2) если да, то чем это обусловлено?
Сайты у Вас молодые. Склейка может занять продолжительное время - от недели до нескольких месяцев. Если будет совсем туго - здесь приводились рецепты на самый разный вкус, начиная от редиректов и заканчивая Disallow: / у неосновного зеркала. Вы сказали, что хост в роботсе прописан у одного сайта - пропишите у обоих.
3) почему проигнорирован robots.txt?
Если в нем нет косяков, то он не проигнорирован.
На наш парсер robots.txt я не грешу, он за 5 лет эксплуатации вылизан до невозможности.
(с) iseg 2002 год.
С учетом недавней темы про robots.txt - это уже можно считать аксиомой. :)
Возможно, просто пока не была произведена склейка. Ждите. Если будет слишком туго - принимайте меры.
С тех пор столько тем про кривоту соблюдения роботса яндексом было, что уж и не перечислишь :)
С тех пор столько тем про кривоту соблюдения роботса яндексом было, что уж и не перечислишь
Вообще говоря, мне хочется верить Илье Сегаловичу. Да, темы были, но имхо во многих из них неправильная обработка роботса была связана с криворукостью вебмасеров, а не глюками парсера. Возможно парсер тоже не идеален, но уже за последние 4 года его вылизали еще лучше, чем то было в 2002 году.
Лучше - это конечно наверняка, только вот баги появляются с солидным постоянством. Я уж не буду акцентировать на том, что разные боты яндекса интерпретируют роботс по разному :)
Я уж не буду акцентировать на том, что разные боты яндекса интерпретируют роботс по разному
Некоторые вообще его когда-то игнорировали(ют). Об этом были большие споры как минимум вот тут и тут.
Про это я вообще молчу. Ибо по мнению яндекса, це не боты 😂
p.s. по ссылкам не ходил, но понятно что там :)