Робот Яндекса - повторяется!

Пока, самуюю "раннюю" такую пару нашел в логе за 11 января.

Мож и откатили. Но я посмотрел бы, не имееются ли ссылки откуда нибудь на эти страницы, которых уже нет.

Это внутренняя страница. Ее не двигали, так как она "новогодняя".

1,5 месяца провесела, до Нового года, и сняли, как не актуальную.

Вторую пару - это уже по другому ресурсу нашел.

Там ситуация с появлением и снятием страницы - аналогичная.

Пробивал по расширенному поиску - отрицательно.

Ни факт. Яндекс не все ссылки показывает ;)

То, что они были временные, не означает что кто то увидел их и не поставил на них ссылки. Смотрите через Яху,MSN.

Конечно, такая вероятность существует, но очень мала...

Проверил. Для 2- разных сайтов - нет ссылок на эти страницы...

Возможно это и оказывает влияние расклбас с АПА-ми: "быстро-АП-ы", откаты АП-ов, пере-недо АП-ов...

кстати, я бы не был так категоричен... в топе, кстати, частенько встречаю страницы 404, котоыре преспокойно висят в выдаче годами... (не коммерчесеи, не куонкурентные тематики)

по этому же конкретному случаю - для меня бы было логично страницы с 404 откидывать в спец.базу, и потом все же возвращаться (1-2) раза, дабы убедиться - что ее собственно нет окончательно...

ведь мало ли какие нюансы - хостинг, сервер, глюк, ддос, хак и проч.

поставьте себя на место яндекса - вы звоните другу - у него телефон не доступен... вам бы и успокоится, ан нет - вы еще пару раз наберете, дабы убедиться что он реально недоступен (спит, пьет, гуляет на фиг без телефона), а не едет в метро или в тоннелле...

такая логика с точки зрения поисковиков, я считаю уместна... особенно если дело касается внутренних страниц...

ИМХО

Из серии "найден по ссылке"?..

Это известное дело... Такие долго храняться.

Предлагаете применить код 410?

В этих случаях робот бы мог просто НЕ дождаться ответа.

В данном случае - код ответа есть.

Согласен, с такой точки зрения - Вы правы.

404 код = сервер не нашел ничего соответствующего Request-URI.

То есть, Вы позвонили, а Вам ответили, что такой тут больше не живет.

- Сколько еще раз будете перезванивать?;)

может имеет смысл в robots.txt отрубить эту страницу...

в этом случае робот посмотрит на страницу, ее нет, проверит свои догадки в роботсе - точно - просят удалить... и сразу мимо базы выбьет...

ну и через яндекс-вебмастер попросить страницу удалить через спец.форму (читай - тот же роботс и поможет)...

А вы в этой идее уверены?

То что?

Что это за база такая? Что в ней хранится вместе с URL? По каким причинам, как вы думаете, её откатывать бы стали?

В данном случае, когда на ресурсе 15к страниц и обновляемость <=20% страниц в месяц, роботс.тхт распухнет...

И через роботс.тхт будет не отследить - можно ли эту строку в нем удалить или еще нет.

При удалением через форму - Яндекс требует, что бы сервер вернул... 404 код для данного URL.

Круг замкнулся.;)