T.R.O.N

T.R.O.N
Рейтинг
314
Регистрация
18.05.2004

bleed,

Давайте определимся, Вы сайт делате для людей или для ПС.

Если всетаки вариант для людей, Вы дожны сделать все, чтобы юзер, даже если он единственный за сутки, видел удобный приятный сайт, а не недрделанный кривой каркас.

Выкладываь все сразу. Бот ПС возьмет сколько посчитает нужным. Если все ок, то к концу 2-4-го месяца - весь сайт будет проиндексирован (не факт что попадет в основной индекс)

Если на сайте есть кривизна с навигацией - то, скорее всего, бот никогда все не проиндексирует, при любом варианте "колдовства"

BigBrother:
Надеюсь, понятно, почему именно так.

Признаюсь, это новость. Логично бы было именно кешировать, но это дело разработчиков.

Но почему тогда при смене домена на IP (конечно при условии 1-ip - 1 домен), яша по старому доменному имени индексирует старый домен. Это происходило в сентябре прошлого года. Или это было вызванно жругими причинами?

Newm:
Опять же едва ли в этом проблема. Т.к. для сайтов с www и без него очевидно что ДНС одинаковый.

1. - далеко не всегда.

2. - всеравно нужно внести в базу.

Проблема не только с тайм-лимитом. Все привыкли (и висьма заслуженно), что DNS обновляются в течении 3-12 часов с момента внесения изменений на првичном сервере. Яшин бот обновляет базу DNS очень долго. Бывало до 10-15 дней. Учитывайте это

cymax:
T.R.O.N, сравните Last-Modified спонсора сегодняшнего апдейта с данными из основной базы Яндекса, вся информация здесь

Может объясните что это за таблица, и какое отношение к индексной базе яши она имеет?

cymax:
А Last-Modified Яша берет и хранит в базе. Использует при сортировке по дате и при поиске с ограничением по дате. Если ваш сервер не отдает Last-Modified, то при поиске в интервале дат (любом, даже вот так #date>="1999") вы этот сайт не увидите.

Вы можете это подвердить. По моим наблюдениям, единственная дата, которой оперирует яша, это дата инднксации страницы ботом.

Соло:
Пишите хостеру, после прецедента с Мастерхостом я думаю найдется мало хостеров которые захотят рисковать.

Хостер, который без решения суда что-то сделает - рискует понести куда большие наказания. (Вы просто слышили тольок верхушку ситуации)

seogod, Вы в состоянии доказать свои авторские права? Если да, путь в суд. Ес ли нет - давольствуйтесь тем что есть.

psylosss, если сервер не настроен иначе. Чаще все обрабатывается, особенно у IIS.

Чаще всего ответ 406 создают программно, чтобы не заходили боты на страницы, которые принимаю параметры тольок по POST запросу. Иногда такое отдают по запросу HEAD, чтобы "пионеры" не ползали.

Всего: 4849