DMOZ удалён из индекса Яндекс - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > > >
Ответ
 
Опции темы
Старый 17.12.2007, 23:17   #1
Кандидат наук
 
Аватар для nejronODP
 
Регистрация: 05.02.2006
Адрес: Россия
Сообщений: 484
Репутация: 18137

Post DMOZ удалён из индекса Яндекс

DMOZ удалён из индекса Яндекс
Цитата:
Как можно увидеть из результатов запроса в поисковой строке Яндекса выражения «rhost=”org.dmoz.*”|rhost=”org.dmoz.www.*”», из индекса Яндекс исчез крупнейший каталог сайтов в Интернете — DMOZ. Русскоязычный раздел Открытого Каталога является одним из крупнейших каталогов сайтов в Рунете. При попытке добавить проект заново в индекс через форму “Добавить URL” выдаётся ошибка «Добавленный вами сайт не индексируется, так как является «зеркалом» http://dmoz.org/». Т. е., как видно, Яндекс неверно определил основное зеркало сайта (с www.dmoz.org на dmoz.org уже несколько месяцев стоит 301-й редирект). В Яндекс.Каталоге URL проекта также ошибочно прописан (dmoz.org вместо канонического www.dmoz.org).

На соответствующий запрос в службу поддержки Яндекс.Ру был получен следующий ответ:
Цитата:
Дело в том, что Ваш сайт может индексироваться Яндексом только по адресу dmoz.org, адрес www.dmoz.org является его зеркалом. В данный момент у Вас установлен серверный редирект с dmoz.org на www.dmoz.org:$ telnet dmoz.org 80
HEAD / HTTP/1.0
Host: dmoz.org
Accept-Charset: windows-1251
User-Agent: Yandex/2.01.000 (compatible; Win16; Dyatel; C)HTTP/1.0 301 Moved Permanently
MIME-Version: 1.0
Server: ArtBlast/3.5.5
Date: Mon, 17 Dec 2007 10:24:24 GMT
Expires: Mon, 17 Dec 2007 10:54:24 GMT
Content-length: 86
Content-type: text/html
Location: http://www.dmoz.org/
Connection: close

Страницы, с которых стоит серверный редирект, удаляются роботом из базы. Чтобы вернуть сайт в базу Яндекса, необходимо снять редирект, тогда сайт вновь начнет индексироваться по адресу dmoz.org. Если для Вас важно, чтобы сайт индексировался именно по адресу www.dmoz.org , есть два пути:
1. оставить все как есть, но скорректировать robots.txt, добавив в него:
User-agent: Yandex
Disallow:
Host: www.dmoz.org

Важно: блоки указаний роботам должны разделяться пустой строкой. После этого надо будет дождаться захода на сайт робота зеркальщика, он отследит изменения и переклеит сайты по адресу, указанному в Host. Процесс переклейки в среднем занимает до 4–6 недель, ускорить его, к сожалению, нельзя. В этом случае сайт появится в базе Яндекса только после того, как произойдет «переклейка».

2. снять редирект, скорректировать robots.txt так, как указано выше. В этом случае сайт вернется в базу Яндекса по адресу dmoz.org, после переклейки в базе появится www.dmoz.org.


С уважением, Платон Щукин
Служба поддержки Яндекс.Ру
Яндекс рулит
__________________
С уважением, Александр
nejronODP вне форума   Ответить с цитированием

Реклама
Старый 18.12.2007, 10:36   #2
K. Ermakov
Академик
 
Аватар для K. Ermakov
 
Регистрация: 10.12.2004
Адрес: Kronshtadt
Сообщений: 6,298
Репутация: 160424
Социальные сети Профиль в ВКонтакте Профиль на Хабрахабре

По умолчанию Ответ: DMOZ удалён из индекса Яндекс

Цитата:
Сообщение от nejronODP
Яндекс рулит
Конечно, Яндекс рулит.

А у вас там в DMOZ, похоже, детский сад. Такая особенность работы индексирующего робота известна достаточно давно, неоднократно обсуждалась на форуме. Платон лично вам разъяснил, в чём проблема и как её решать, очень подробно. А вы, вместо того, чтобы последовать его инструкциям, тупо пиаритесь. Смысл?
__________________
С уважением, Константин Ермаков,
absite.ru: онлайн кроссворды;
searchsuggest.ru: поисковые подсказки доставляют.
K. Ermakov вне форума   Ответить с цитированием
Старый 18.12.2007, 10:41   #3
Revan
Академик
 
Аватар для Revan
 
Регистрация: 09.09.2005
Адрес: Петербург
Сообщений: 3,411
Репутация: 292920
Социальные сети Профиль в ВКонтакте

По умолчанию Ответ: DMOZ удалён из индекса Яндекс

Цитата:
Сообщение от K. Ermakov Посмотреть сообщение
Конечно, Яндекс рулит.

А у вас там в DMOZ, похоже, детский сад. Такая особенность работы индексирующего робота известна достаточно давно, неоднократно обсуждалась на форуме. Платон лично вам разъяснил, в чём проблема и как её решать, очень подробно. А вы, вместо того, чтобы последовать его инструкциям, тупо пиаритесь. Смысл?
А почему просто не переклеело на с ввв? google.ru же нормально редиректит и индексит.
__________________
С уважением, Прокофьев Александр, founder KudaGo.com.
Отдаем информацию обо всех мероприятиях в РФ + Киев по API всем желающим.
Revan вне форума   Ответить с цитированием
Старый 18.12.2007, 11:02   #4
mstar
Веб програмер
 
Аватар для mstar
 
Регистрация: 19.12.2005
Адрес: Ukraine, Chernigiv
Сообщений: 1,456
Репутация: 35942
Отправить сообщение для mstar с помощью ICQ Отправить сообщение для mstar с помощью MSN Отправить сообщение для mstar с помощью Skype™ Send Message via Jabber to mstar
Социальные сети

По умолчанию Re: Ответ: DMOZ удалён из индекса Яндекс

Цитата:
Сообщение от Revan Посмотреть сообщение
А почему просто не переклеело на с ввв? google.ru же нормально редиректит и индексит.
Яндекс особенный, хочет чтоб под его правила подстраивались вебмастера. А не наоборот, как в цивилизованном мире делается. Несерьезный подход какой-то, имхо.

Лучше бы исправили баги в своем зеркальщике.

ЗЫ: зацепило, так как вылетела страница под зеркалом index.php?action=asd и ./?action=asd
__________________
Разработка сайтов - удобные веб приложения по разумной цене.
mstar вне форума   Ответить с цитированием
Старый 18.12.2007, 11:08   #5
Kost
Академик
 
Регистрация: 31.01.2001
Адрес: Moscow
Сообщений: 15,215
Репутация: 845836

По умолчанию Ответ: DMOZ удалён из индекса Яндекс

Наоборот. Яндекс сделал директиву Host по настоятельным просьбам вебмастеров на этом форуме и на форуме Яндекса для управления зеркальщиком. Но, как обычно, подавляющее большинство не хочет изучать FAQ на сайте Яндекса и следовать ему, они хотят поменьше заморачиваться и делать как удобно им.
__________________
Выделенные полосы в Москве привели к снижению скорости до 23%.
Kost вне форума   Ответить с цитированием
Старый 18.12.2007, 11:11   #6
psh
Вне статуса
 
Аватар для psh
 
Регистрация: 02.09.2005
Адрес: Кушелевская дорога
Сообщений: 601
Репутация: 78138

По умолчанию Ответ: DMOZ удалён из индекса Яндекс

Цитата:
Такая особенность работы индексирующего робота
Сомневаюсь, что AOL вообще известно о существовании великого и могучего Яндекса со всеми его особенностями.
Цитата:
Смысл?
Также не вижу, хотя и по другим причинам.
psh вне форума   Ответить с цитированием
Старый 18.12.2007, 11:12   #7
Lord Maverik
Архитектор
 
Аватар для Lord Maverik
 
Регистрация: 15.04.2003
Адрес: Санкт-Петербург
Сообщений: 3,763
Репутация: 644686
Отправить сообщение для Lord Maverik с помощью ICQ Отправить сообщение для Lord Maverik с помощью MSN Отправить сообщение для Lord Maverik с помощью Skype™
Социальные сети Профиль в ВКонтакте

По умолчанию Ответ: DMOZ удалён из индекса Яндекс

Логичнее многим подстариваться под одного, чем одному под многих. Правильно Я делает.
__________________
RedMall.Ru - Товары из Китая (Таобао, Tmall) с проверкой качества
Партнерская программа 2 уровня: 5% + 5%. Подробнее.
Lord Maverik вне форума   Ответить с цитированием
Старый 18.12.2007, 11:13   #8
ШАНС-ON
Академик
 
Регистрация: 27.12.2005
Сообщений: 8,290
Репутация: 1350071

По умолчанию Re: DMOZ удалён из индекса Яндекс

nejronODP, так что меняйте robots, у Вас есть доступ?
ШАНС-ON вне форума   Ответить с цитированием
Старый 18.12.2007, 12:15   #9
K. Ermakov
Академик
 
Аватар для K. Ermakov
 
Регистрация: 10.12.2004
Адрес: Kronshtadt
Сообщений: 6,298
Репутация: 160424
Социальные сети Профиль в ВКонтакте Профиль на Хабрахабре

По умолчанию Ответ: DMOZ удалён из индекса Яндекс

Цитата:
Сообщение от Revan
А почему просто не переклеело на с ввв? google.ru же нормально редиректит и индексит
Вероятно, Яндексу по каким-то причинам неудобно делать переклейку по аналогии с Google. Это могут быть как особенности алгоритма, так и причины класса "не самая большая проблема, поэтому руки не дошли".

А если б сделали, все бы опять закричали: Яндекс спёр очередную гуглёвскую фичу
K. Ermakov вне форума   Ответить с цитированием
Старый 18.12.2007, 16:07   #10
alexseo
Академик
 
Регистрация: 12.05.2004
Сообщений: 2,155
Репутация: 101083

По умолчанию Ответ: DMOZ удалён из индекса Яндекс

Цитата:
Дело в том, что Ваш сайт
Хороший у Вас сайт
alexseo вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 13:38. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны