DMOZ удалён из индекса Яндекс

123 4
nejronODP
На сайте с 05.02.2006
Offline
126
6521

DMOZ удалён из индекса Яндекс

Как можно увидеть из результатов запроса в поисковой строке Яндекса выражения «rhost=”org.dmoz.*”|rhost=”org.dmoz.www.*”», из индекса Яндекс исчез крупнейший каталог сайтов в Интернете — DMOZ. Русскоязычный раздел Открытого Каталога является одним из крупнейших каталогов сайтов в Рунете. При попытке добавить проект заново в индекс через форму “Добавить URL” выдаётся ошибка «Добавленный вами сайт не индексируется, так как является «зеркалом» http://dmoz.org/». Т. е., как видно, Яндекс неверно определил основное зеркало сайта (с www.dmoz.org на dmoz.org уже несколько месяцев стоит 301-й редирект). В Яндекс.Каталоге URL проекта также ошибочно прописан (dmoz.org вместо канонического www.dmoz.org).

На соответствующий запрос в службу поддержки Яндекс.Ру был получен следующий ответ:
Дело в том, что Ваш сайт может индексироваться Яндексом только по адресу dmoz.org, адрес www.dmoz.org является его зеркалом. В данный момент у Вас установлен серверный редирект с dmoz.org на www.dmoz.org:$ telnet dmoz.org 80
HEAD / HTTP/1.0
Host: dmoz.org
Accept-Charset: windows-1251
User-Agent: Yandex/2.01.000 (compatible; Win16; Dyatel; C)HTTP/1.0 301 Moved Permanently
MIME-Version: 1.0
Server: ArtBlast/3.5.5
Date: Mon, 17 Dec 2007 10:24:24 GMT
Expires: Mon, 17 Dec 2007 10:54:24 GMT
Content-length: 86
Content-type: text/html
Location: http://www.dmoz.org/
Connection: close

Страницы, с которых стоит серверный редирект, удаляются роботом из базы. Чтобы вернуть сайт в базу Яндекса, необходимо снять редирект, тогда сайт вновь начнет индексироваться по адресу dmoz.org. Если для Вас важно, чтобы сайт индексировался именно по адресу www.dmoz.org , есть два пути:
1. оставить все как есть, но скорректировать robots.txt, добавив в него:
User-agent: Yandex
Disallow:
Host: www.dmoz.org

Важно: блоки указаний роботам должны разделяться пустой строкой. После этого надо будет дождаться захода на сайт робота зеркальщика, он отследит изменения и переклеит сайты по адресу, указанному в Host. Процесс переклейки в среднем занимает до 4–6 недель, ускорить его, к сожалению, нельзя. В этом случае сайт появится в базе Яндекса только после того, как произойдет «переклейка».

2. снять редирект, скорректировать robots.txt так, как указано выше. В этом случае сайт вернется в базу Яндекса по адресу dmoz.org, после переклейки в базе появится www.dmoz.org.


С уважением, Платон Щукин
Служба поддержки Яндекс.Ру
Яндекс рулит :bl:
С уважением, Александр
K. Ermakov
На сайте с 10.12.2004
Offline
328
#1
nejronODP:
Яндекс рулит

Конечно, Яндекс рулит.

А у вас там в DMOZ, похоже, детский сад. Такая особенность работы индексирующего робота известна достаточно давно, неоднократно обсуждалась на форуме. Платон лично вам разъяснил, в чём проблема и как её решать, очень подробно. А вы, вместо того, чтобы последовать его инструкциям, тупо пиаритесь. Смысл?

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
Revan
На сайте с 09.09.2005
Offline
321
#2
K. Ermakov:
Конечно, Яндекс рулит.

А у вас там в DMOZ, похоже, детский сад. Такая особенность работы индексирующего робота известна достаточно давно, неоднократно обсуждалась на форуме. Платон лично вам разъяснил, в чём проблема и как её решать, очень подробно. А вы, вместо того, чтобы последовать его инструкциям, тупо пиаритесь. Смысл?

А почему просто не переклеело на с ввв? google.ru же нормально редиректит и индексит.

С уважением, Прокофьев Александр, founder KudaGo.com (http://kudago.com). Отдаем информацию обо всех мероприятиях в РФ + Киев по API (/ru/forum/912869) всем желающим.
mstar
На сайте с 19.12.2005
Offline
133
#3
Revan:
А почему просто не переклеело на с ввв? google.ru же нормально редиректит и индексит.

Яндекс особенный, хочет чтоб под его правила подстраивались вебмастера. А не наоборот, как в цивилизованном мире делается. Несерьезный подход какой-то, имхо.

Лучше бы исправили баги в своем зеркальщике.☝

ЗЫ: зацепило, так как вылетела страница под зеркалом index.php?action=asd и ./?action=asd

Разработка сайтов (http://www.mstarproject.com/?action=tecdoc_mysql_site) - удобные веб приложения по разумной цене.
K
На сайте с 31.01.2001
Offline
737
#4

Наоборот. Яндекс сделал директиву Host по настоятельным просьбам вебмастеров на этом форуме и на форуме Яндекса для управления зеркальщиком. Но, как обычно, подавляющее большинство не хочет изучать FAQ на сайте Яндекса и следовать ему, они хотят поменьше заморачиваться и делать как удобно им.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
psh
На сайте с 02.09.2005
Offline
117
psh
#5
Такая особенность работы индексирующего робота

Сомневаюсь, что AOL вообще известно о существовании великого и могучего Яндекса со всеми его особенностями.;)

Смысл?

Также не вижу, хотя и по другим причинам.🚬

Как-то так
Lord Maverik
На сайте с 15.04.2003
Offline
471
#6

Логичнее многим подстариваться под одного, чем одному под многих. Правильно Я делает.

RedMall.Ru (https://redmall.ru) - Товары из Китая (Таобао, Tmall) с проверкой качества, скидка для форумчан 7% Партнерская программа 2 уровня: 5% + 5%. Подробнее. (https://redmall.ru/about/partner/)
ШO
На сайте с 27.12.2005
Offline
375
#7

nejronODP, так что меняйте robots, у Вас есть доступ? :)

K. Ermakov
На сайте с 10.12.2004
Offline
328
#8
Revan:
А почему просто не переклеело на с ввв? google.ru же нормально редиректит и индексит

Вероятно, Яндексу по каким-то причинам неудобно делать переклейку по аналогии с Google. Это могут быть как особенности алгоритма, так и причины класса "не самая большая проблема, поэтому руки не дошли".

А если б сделали, все бы опять закричали: Яндекс спёр очередную гуглёвскую фичу 😂

A
На сайте с 12.05.2004
Offline
176
#9
Дело в том, что Ваш сайт

Хороший у Вас сайт :)

Samail
На сайте с 10.05.2007
Offline
361
#10
K. Ermakov:
Платон лично вам разъяснил, в чём проблема и как её решать, очень подробно. А вы, вместо того, чтобы последовать его инструкциям, тупо пиаритесь.

Думаю если б у nejron’а была возможность править robots.txt DMOZ’а, он бы инструкциями уже воспользовался :)

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий