Задержка с появлением страниц в результатах поиска.

P
На сайте с 21.10.2007
Offline
35
750

Здравствуйте.

Есть сайт http://www.torrentreactor.net. (листинг торрентов). Я проанализировал логи его веб-сервера. Увидел что робот гугловский проходит по страницам торентов вскорости после добавления на сайт (минут через 30). но в поисковых результатах эти страницы появляются только через 22-23 часа примерно. Тогда как у, например, у аналогичных сайтов mininova.org и torrentportal.com - сразу почти. Когда они таки появляются в выдаче - гугл пишет, что они были добавлены 22-23 часа назад. Хотя реально появились фактически менее часа назад. Эта задержка верна для всех страниц сайта, не только для страниц конкретных торентов

С чем это может быть связано?

http://69.50.167.10/me/google-search1.jpg – скриншот, иллюстрирующий ситуацию (результат http://www.google.com/search?hl=en&lr=&as_qdr=all&q=Rugby.Union.RWC%282007%29.48.Final.England.vs.South.Africa.20.October+site%3Atorrentreactor.net&btnG=Search

)

http://69.50.167.10/me/google-search2.jpg - скриншот, наглядно показывающий, как оперативно добавляются торенты у мининовы и торентпортала (результат http://www.google.com/search?hl=en&lr=&as_qdr=all&q=Rick.Tippe.The.Best.Of&btnG=Search).

BLACK_DANTE
На сайте с 24.03.2007
Offline
188
#1

Мне кажется что тут дело в возрасте домена. Ни для кого не секрет, что гугл любит старые домены... от этого и такая скорость добавления в поиск

Будьте людьми.
P
На сайте с 21.10.2007
Offline
35
#2

torrentreactor.net - самый старый. причем все время существовал именно как листинг торентов.

torrentreactor.net

Record last updated 12-04-2006 05:03:49 AM

Record created on 10-20-2003

mininova.org

Created On:18-Jan-2005 11:29:57 UTC

Last Updated On:20-Oct-2007 09:57:35 UTC

torrentportal.com

Date Created: 2004-12-10

Last Updated: 2007-03-22 09:44:50

BLACK_DANTE:
Мне кажется что тут дело в возрасте домена. Ни для кого не секрет, что гугл любит старые домены... от этого и такая скорость добавления в поиск
SilverMaster
На сайте с 08.10.2003
Offline
228
#3

Все дело в обновляемости контента на главной и категорийных страницах.

Если контент на главной часно, а главное регулярно обновляеться, при этом линки на главной - это в основе своей внутренние НОВЫЕ странички, то гугль расценивает сайт как НОВОСТНОЙ - и соответственно старается регулярно выкидывать свежие страницы с домена в поиск.

Обычно так происходит с весомыми доменами, на которых стоят блоги.

P.S. Не исключаю так же важную роль в этом эффекте и пинг гугля с таких сайтов.

Если не знаете про пинги, то это процедура, которая дает гуглю знать что сайт обновился. Обычно после этого гугль тянет (имхо) рсс-сайта и странички, которые в рссе.

Все мое имхо.

Из детских комшаров: "А вдруг ночью придет страшный робот!" Из взрослых: "И криво проиндексирует сайт". Не всякий гик добежит до середины поисковой страницы гугла
P
На сайте с 21.10.2007
Offline
35
#4

У меня тянет именно rss-ку. Через нее узнает про новые страницы и скачивает их (все это видно мне из анализа лога веб сервера). Сейчас смотрю - чаще чем раз в 20 мин. rss.php запрашивается гугловским ботом.

Про пинги я не знал - сейчас прочитал - оно же только для блогов вроде? сомневаюсь что торент сайты его используют.

Т.е. получается вообще некое отсутствие логики - страничка индексится, появляется в результатах поиска через значительное время и пишет - что она уже была в результатах все это время - хотя ее не было!

Еще версии ! :)

P
На сайте с 21.10.2007
Offline
35
#5

У меня тянет именно rss-ку. Через нее узнает про новые страницы и скачивает их (все это видно мне из анализа лога веб сервера). Сейчас смотрю - чаще чем раз в 20 мин. rss.php запрашивается гугловским ботом.

Про пинги я не знал - сейчас прочитал - оно же только для блогов вроде? сомневаюсь что торент сайты его используют.

Т.е. получается вообще некое отсутствие логики - страничка индексится, появляется в результатах поиска через значительное время и пишет - что она уже была в результатах все это время - хотя ее не было!

Еще версии ! :)

orphelin
На сайте с 02.07.2006
Offline
261
#6
pgriffin:
появляется в результатах поиска через значительное время и пишет - что она уже была в результатах все это время - хотя ее не было!
Еще версии ! :)

а не могут быть какие то кеши на пути?

может свои страницы вы чаще проверяете, чем остальных двух сайтов, вот запросы и закешировались где-то на промежуточных серверах. если сказал глупость, извиняйте, просто предположение 🙄

P
На сайте с 21.10.2007
Offline
35
#7

Не совсем понял что ты имеешь в виду :). Но я логирую пользователей с гугла - и они начинают приходить на страницы тоже только через 22-23 часа... Т.е. старниц нету в гугле и для др. пользователей - не только для меня.

orphelin:
а не могут быть какие то кеши на пути?
может свои страницы вы чаще проверяете, чем остальных двух сайтов, вот запросы и закешировались где-то на промежуточных серверах. если сказал глупость, извиняйте, просто предположение 🙄
M
На сайте с 01.04.2004
Offline
125
#8

pgriffin, может на других ДЦ уже есть кэш новых страниц, поэтому гугл и пишет, что давно знает.

Еще у себя замечал - выкладываю новую страницу. Иногда долго может не появляется по запросу site:domain.com, а когда появится, то кэш там старый. По ДЦ правда не проверял, влом было :)))

P
На сайте с 21.10.2007
Offline
35
#9

Другие датаценты - вряд ли. Я еще раз говорю, что логирую приход гугловсикх пользователей. И они начинали приходить именно через 22-23 часа.

Проблема начала продвигаться. На гугле торенты мои стали появляться через 12-13 часов, а не через 22-23. Но все равно очень долго, но динамика положительная.

P
На сайте с 21.10.2007
Offline
35
#10

Другие датаценты - вряд ли. Я еще раз говорю, что логирую приход гугловсикх пользователей. И они начинали приходить именно через 22-23 часа.

Проблема начала продвигаться. На гугле торенты мои стали появляться через 12-13 часов, а не через 22-23. Но все равно очень долго, но динамика положительная.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий