- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Задачка для людей с богатой фантазией.
Имеется большой сайт (например, www.site.net), поделенный на 6 разделов. Каждый раздел лежит в отдельном поддомене (например, raz.site.net, dva.site.net, tri.site.net и т.д.). По своей сути каждый поддомен идентичен другому и является его зеркалом (то есть, страница raz.site.net/code-12345.html идентична tri.site.net/code-12345.html). Сайт был построен так, чтобы робот, пройдя с главной страницы по ссылке на какой-либо раздел-поддомен, мог ходить только по страницам этого раздела-поддомена. Но всё же при создании сайта был допущен производственный косячок. В результате чего Яндекс проиндексировал много зеркал (65000 страниц в индексе вместо 20000 запланированных). Сейчас косяк исправлен.
Вопрос: как избавиться от зеркал в индексе Яндекса?
Задачка осложняется условием: не терять посетителей с Яндекса в процессе избавления от зеркал в индексе.
Ответ: директива Host: в robots.txt
Я думаю больше ответов не требуется....
Мда, попал так попал :)
Мне приходилось два раза сталкиваться с аналогичной ситуацией, но если первый раз, действительно, наблюдался косяк, то во второй обнаружить каким образом Яндекс слопал неправильные страницы мне так и не удалось. Более того склейка произошла закрытых в роботс.txt страниц.
И если в первый раз мне удалось, полностью закрыв зеркальные домены, достаточно быстро дождаться расклейки, то во второй раз я промучался 1,5 месяца, из которых 1 месяц добивался просто удаления всех страниц из индекса.
Все это время я продолжал так же наблюдать робота яндекса, бродящего по закрытым страницам, что, по сути означает бесмысленность всех потуг с удалением доменов.
В любом случае сейчас я сдался так как продолжать неравный бой с суперинтелектуальной системой под названием Яндекс, которая считает зеркалами 2 домена, которых уже давно нет в ее индексе, считаю бессмысленным.
Ответ: директива Host: в robots.txt
А не подскажете, приблизительно сколько времени Янденксу потребуется для удаления зеркал из индекса при таком решении? И как можно ускорить данный процесс?
И если в первый раз мне удалось, полностью закрыв зеркальные домены, достаточно быстро дождаться расклейки...
А что значит "полностью закрыв"? То есть выдача "no host" и потеря посетителей с Яндекса на какое-то время?
А что значит "полностью закрыв"? То есть выдача "no host" и потеря посетителей с Яндекса на какое-то время?
Disallow в роботс
+ 301 редирект с неправильных доменов на правильные
А если проделать следующее?
Выдавать 404 на страницах зазеркаленных поддоменов (но всё же её показывать) и одновременно перекинуть все разделы на новые поддомены. Как долго Яндекс будет чистить индекс?
Или еще вопрос.
Если прописать Disallow: / в robots.txt на зазеркаленных поддоменах, не убьёт ли это все ссылки в индексе (в том числе и ссылки на www.site.net)?
У кого какие мысли?
Последовали Вашему совету, Pegiy, и поставили 301 на зазеркаленные домены. Плюс Disallow: / в robots.txt на неправильных доменах. Посмотрим, как отреагирует Яндекс. Как говорится, фигня война - главное манёвры :)
да совет-то был как раз обратный - что не делай, результат если и будет достигнут то уж точно не малой кровью
Однако получилось всё довольно быстро, Pegiy. Быть может даже слишком быстро :) Сегодня Яндекс удалил из базы разом около 40000 страниц. В выдаче начался жуткий расколбас, естественно. Посещаемость упала. ИЦ вырос. В принципе, я этого и ожидал. Но на такое быстрое удаление не расчитывал. Теперь надо ждать первых индексаций новых поддоменов - тогда и посмотрим.