Если Вы дадите четкое обоснование, что после ответа, что данной страницы НЕТ на сервере, НЕОБХОДИМО(!) повторять эти проверки еще какое-то время, то я от этой идеи откажусь. И, следует учесть, что такие повторы по 404 ответам "захламляют" Базу Данных, увеличивают расход трафика для ПС, на "выпуклый глаз" прикинуть общее кол-во таких ответов в Рунете...
Логичным будет вопрос: - А на кой этот "хлам" Яндексу?
K. Ermakov:
Что это за база такая? Что в ней хранится вместе с URL? По каким причинам, как вы думаете, её откатывать бы стали?
Прошу прощения... Не знаю в каком ключе ответить.
Буду говорить, с точки зрения, что Вы хорошо знакомы с СУБД.
База, физически, не одна. Так как структура ПС требует разделения всей информации на "логические" блоки, для увеличения скорости работы.
Таким образом, допускаю, что есть БД, в которой хранится информаци о ресурсах:
список известных ПС URL ресурса, дата индексации, контент URL и т.п.
Есть "поисковая" БД, в которой и происходит сам поиск.
Так как размер БД велик, то вполне допустимо, что она разделена физически и размещена на разных серверах...
- Какой процент безвозвратной потери информации, на Ваш взгляд, допустим для Яндекса?
5%? 10?.. 20?... 50?... А для критически важных вещей - есть и должен быть бекап.
MASe: может имеет смысл в robots.txt отрубить эту страницу...
в этом случае робот посмотрит на страницу, ее нет, проверит свои догадки в роботсе - точно - просят удалить... и сразу мимо базы выбьет...
ну и через яндекс-вебмастер попросить страницу удалить через спец.форму (читай - тот же роботс и поможет)...
В данном случае, когда на ресурсе 15к страниц и обновляемость <=20% страниц в месяц, роботс.тхт распухнет...
И через роботс.тхт будет не отследить - можно ли эту строку в нем удалить или еще нет.
При удалением через форму - Яндекс требует, что бы сервер вернул... 404 код для данного URL.
MASe: кстати, я бы не был так категоричен... в топе, кстати, частенько встречаю страницы 404, котоыре преспокойно висят в выдаче годами... (не коммерчесеи, не куонкурентные тематики)
Из серии "найден по ссылке"?..
Это известное дело... Такие долго храняться.
MASe:
по этому же конкретному случаю - для меня бы было логично страницы с 404 откидывать в спец.базу, и потом все же возвращаться (1-2) раза, дабы убедиться - что ее собственно нет окончательно...
Предлагаете применить код 410?
MASe:
ведь мало ли какие нюансы - хостинг, сервер, глюк, ддос, хак и проч.
В этих случаях робот бы мог просто НЕ дождаться ответа.
В данном случае - код ответа есть.
MASe:
такая логика с точки зрения поисковиков, я считаю уместна... особенно если дело касается внутренних страниц...
ИМХО
Согласен, с такой точки зрения - Вы правы.
404 код = сервер не нашел ничего соответствующего Request-URI.
То есть, Вы позвонили, а Вам ответили, что такой тут больше не живет.
Pitch: Выдержка из правил;
"Также редактор оставляет за собой право отказать Вам в регистрации, указав причину. Деньги за СМС-сообщение в этом случае не возвращаются."
http://open.webalta.ru/help/helpterms.html
Как исключение Вам вернем. Приезжайте к нам в офис :D. адрес в разделе "О компании". Я Вам обязательно верну.
Не буду распинаться на счет прав потребителей, но...
имхо: - Такая корпоративная политика, взять деньги и случае отказа не вернуть их, не делает чести ни в реале, ни в Инете...
Еще вспомнилось, что NIC.RU при разшении спорных вопросов о владельце зоны, рассматривает только E-mail адрес, указанный в записи SOA зоны
Имхо, сам Яндекс до такого, в общем-то мелочного, по рАссейским меркам, не дошел бы...
Согласен с Seonist. Уводить от хостера на абузоустойчивый, плевать на деньги...
А потом и разбираться... В 2003 - только так смог домен и отстоять...
Добавил - 1.
Что бы не искушать судьбу, поднял на стороне свой DNS-сервер, перевел на него зону и все.
Видимо DNS у хостера. Регистратор домена - кто? Это я к смене DNS-серверов...
2: Пока список DNS серверов у Вас в руках - можно маневрировать.
Если нет - то...🙅
а вам то что на размер роботса???
блин... это же не главная страница ;-)
я вот встречал и роботсы по 10, и .htaccess по 100 с лишним килобайт и ничего - работает...
Ну... - А зачем "напрягать" роботов? Сваливать на них свои "грехи"...
Или по принципу: - он железный, вот пусть и работает? :D
ИМХО: - За роботс.тхт > 1к - ресерс можно "отстреливать". ;)
А вы в этой идее уверены?
Если Вы дадите четкое обоснование, что после ответа, что данной страницы НЕТ на сервере, НЕОБХОДИМО(!) повторять эти проверки еще какое-то время, то я от этой идеи откажусь. И, следует учесть, что такие повторы по 404 ответам "захламляют" Базу Данных, увеличивают расход трафика для ПС, на "выпуклый глаз" прикинуть общее кол-во таких ответов в Рунете...
Логичным будет вопрос: - А на кой этот "хлам" Яндексу?
Что это за база такая? Что в ней хранится вместе с URL? По каким причинам, как вы думаете, её откатывать бы стали?
Прошу прощения... Не знаю в каком ключе ответить.
Буду говорить, с точки зрения, что Вы хорошо знакомы с СУБД.
База, физически, не одна. Так как структура ПС требует разделения всей информации на "логические" блоки, для увеличения скорости работы.
Таким образом, допускаю, что есть БД, в которой хранится информаци о ресурсах:
список известных ПС URL ресурса, дата индексации, контент URL и т.п.
Есть "поисковая" БД, в которой и происходит сам поиск.
Так как размер БД велик, то вполне допустимо, что она разделена физически и размещена на разных серверах...
- Какой процент безвозвратной потери информации, на Ваш взгляд, допустим для Яндекса?
5%? 10?.. 20?... 50?... А для критически важных вещей - есть и должен быть бекап.
Пс. Правлю орфографию....
может имеет смысл в robots.txt отрубить эту страницу...
в этом случае робот посмотрит на страницу, ее нет, проверит свои догадки в роботсе - точно - просят удалить... и сразу мимо базы выбьет...
ну и через яндекс-вебмастер попросить страницу удалить через спец.форму (читай - тот же роботс и поможет)...
В данном случае, когда на ресурсе 15к страниц и обновляемость <=20% страниц в месяц, роботс.тхт распухнет...
И через роботс.тхт будет не отследить - можно ли эту строку в нем удалить или еще нет.
При удалением через форму - Яндекс требует, что бы сервер вернул... 404 код для данного URL.
Круг замкнулся.;)
кстати, я бы не был так категоричен... в топе, кстати, частенько встречаю страницы 404, котоыре преспокойно висят в выдаче годами... (не коммерчесеи, не куонкурентные тематики)
Из серии "найден по ссылке"?..
Это известное дело... Такие долго храняться.
по этому же конкретному случаю - для меня бы было логично страницы с 404 откидывать в спец.базу, и потом все же возвращаться (1-2) раза, дабы убедиться - что ее собственно нет окончательно...
Предлагаете применить код 410?
ведь мало ли какие нюансы - хостинг, сервер, глюк, ддос, хак и проч.
В этих случаях робот бы мог просто НЕ дождаться ответа.
В данном случае - код ответа есть.
такая логика с точки зрения поисковиков, я считаю уместна... особенно если дело касается внутренних страниц...
ИМХО
Согласен, с такой точки зрения - Вы правы.
404 код = сервер не нашел ничего соответствующего Request-URI.
То есть, Вы позвонили, а Вам ответили, что такой тут больше не живет.
- Сколько еще раз будете перезванивать?;)
То, что они были временные, не означает что кто то увидел их и не поставил на них ссылки. Смотрите через Яху,MSN.
Конечно, такая вероятность существует, но очень мала...
Проверил. Для 2- разных сайтов - нет ссылок на эти страницы...
Возможно это и оказывает влияние расклбас с АПА-ми: "быстро-АП-ы", откаты АП-ов, пере-недо АП-ов...
Мож и откатили. Но я посмотрел бы, не имееются ли ссылки откуда нибудь на эти страницы, которых уже нет.
Это внутренняя страница. Ее не двигали, так как она "новогодняя".
1,5 месяца провесела, до Нового года, и сняли, как не актуальную.
Вторую пару - это уже по другому ресурсу нашел.
Там ситуация с появлением и снятием страницы - аналогичная.
Пробивал по расширенному поиску - отрицательно.
Пока, самуюю "раннюю" такую пару нашел в логе за 11 января.
Выдержка из правил;
"Также редактор оставляет за собой право отказать Вам в регистрации, указав причину. Деньги за СМС-сообщение в этом случае не возвращаются."
http://open.webalta.ru/help/helpterms.html
Как исключение Вам вернем. Приезжайте к нам в офис :D. адрес в разделе "О компании". Я Вам обязательно верну.
Не буду распинаться на счет прав потребителей, но...
имхо: - Такая корпоративная политика, взять деньги и случае отказа не вернуть их, не делает чести ни в реале, ни в Инете...