Форум Поисковые системы Google

Curl и индексирующий бот Googlebot/2.1.

M8
На сайте с 31.05.2009
Offline
40
maloi86
1042

Здравствуйте уважаемые. Столкнулся с таким вопросом, имеется страничка на пхп расположенная на хостинге(сервере ) №1. На этой страничке имеется пхп код, который функцией Curl забирает информацию с другой странице расположенной на хостинге(сервере) №2. Будет ли индексировать бот страницу на хостинге(сервере ) №1 , вместе с той информацией которая подгружается (функцией Curl ) со странице расположенной на хостинге №2(сервере). По моему Googlebot/2.1 бот и другие при выполнении кода на странице расположенной на хостинге(сервере ) №1 , ждать не будет пока подгрузится информация, или я не прав??

EN
На сайте с 06.04.2010
Offline
2
EngageNow
#1

Если ты будешь выдавать на странице 1 инфу со страницы 2, то все проиндексирует. Только он может их склеить через некоторое время, если инфа будет одинаковая.

M8
На сайте с 31.05.2009
Offline
40
maloi86
#2
EngageNow:
Если ты будешь выдавать на странице 1 инфу со страницы 2, то все проиндексирует. Только он может их склеить через некоторое время, если инфа будет одинаковая.

Вот только не откажется ли индексировать инфу подружаемой с другой страницы. Так как на выполнение Curl нужно время. А бот как известно ждать не любит

EN
На сайте с 06.04.2010
Offline
2
EngageNow
#3

Эта вообще не проблема. Сделай кэш. Через крон, или через условие по времени в странице 1. Насколько часто зависит от частоты обновления инфы страницы 2.

Вообще, если каждый раз при вызове страницы будет запускаться curl, это может перегрузить сервер, и тебя погонят с хостинга, если ты конечно пользуешь не выделенный сервер.

M8
На сайте с 31.05.2009
Offline
40
maloi86
#4
EngageNow:
Эта вообще не проблема. Сделай кэш. Через крон, или через условие по времени в странице 1. Насколько часто зависит от частоты обновления инфы страницы 2.

Вообще, если каждый раз при вызове страницы будет запускаться curl, это может перегрузить сервер, и тебя погонят с хостинга, если ты конечно пользуешь не выделенный сервер.

Страница 2 изменяется в течении каждого часа. Думаю не выгонят)). Мне важен робот , будет ли он индексировать инфу с подружаемой страницы?

P
На сайте с 19.01.2006
Offline
96
pheny
#5
maloi86:
Мне важен робот , будет ли он индексировать инфу с подружаемой страницы?

в общем случае будет. робот вообще не будет знать что страница тормозит от того, что ждет данные с другого сервера. для робота это будет просто тормозная страница.

если время загрузки страницы будет в пределах допустимого (обычно до нескольких секунд), то будет нормальная индексация. если страница будет грузится довольно долго, скажем секунд 10-20, то есть хорошая вероятнось вылета ее из индекса поисковика.

ну и еще почитайте что-ли соседний топик, где обсуждается заявление гугла о влиянии времени загрузки страницы на ее ранжирование...

Размещу недорого ваши статьи туристической тематики.
Google Analytics , обход Google о повторяющемся контенте Яндекс выкосил 99.9% сайтов
M8
На сайте с 31.05.2009
Offline
40
maloi86
#6
pheny:
в общем случае будет. робот вообще не будет знать что страница тормозит от того, что ждет данные с другого сервера. для робота это будет просто тормозная страница.
если время загрузки страницы будет в пределах допустимого (обычно до нескольких секунд), то будет нормальная индексация. если страница будет грузится довольно долго, скажем секунд 10-20, то есть хорошая вероятнось вылета ее из индекса поисковика.
ну и еще почитайте что-ли соседний топик, где обсуждается заявление гугла о влиянии времени загрузки страницы на ее ранжирование...

Спасибо за ответ, размер подгружаемой информации в среднем 100кб

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий