Curl и индексирующий бот.

А куда он денется ) ждет определлное время генерации страницы, если сервак по техническим причинам, не в состоянии обработать и выдать результат - то получаем ошибку. Я по этому принципу делал адулттуб, в индекс не попало скорей всего из за тематики сайта. Потом забил и вообще не практиковал этот метод.

А сколько страница генерируется? Полсекунды? Треть секунды?

Я вот недавно "заострил" свое внимание на скоростях mysql. Так тамж милисекунды и никак иначе.

INSERT_DELAYED например ждет 300 милисекунд пока реализуется очередь, потом скидывает ее. Я уже молчу про единичные инструкции, там вообще - десятитысячные доли секунды.

Так что все проиндексируется можно не парится

eugene-last, вы только забываете, что информацию из mysql получить обычно несколько быстрее. А вот в случае с курлом возникает две задержки:

1. При обращении к нашему сайту

2. При обращении нашего сайта к сайту-источнику.

А также теперь у нас 2 рисковых ситуации:

1. Недоступен наш сервер

2. Недоступен удалённый сервер

И ещё неизвестно какова скорость получения данных нашим сервером. Если нагрузка большая.. То я думаю, будет лагать и ещё как.

Например если у вас множество страниц и большая посещаемость, то будет постоянная нагрузка на канал связи, что ухудшит скорость передачи данных. Таким образом, такой метод может иметь место, однако делать большой и посещаемый сайт только на курле я бы не стал.

Есть правда вариант кешировать информацию. Например, если сегодня уже было обращение к какой-то странице - мы выдаём её не с удалённого сервера, а уже с нашего. Т.е. мы не только показываем пользователю страницу, но и записываем её себе.

Вот как-то так можно это осуществить.

Сложного вроде нет ничего, делай из этого функцию и встраивай в свой код.

$timeup = "600";//Время кеширования



if((!file_exists("cache.tmp")) or (time() - filemtime("cache.tmp") > $timeup))

{

$cache=curl('http://my-sites.name/index.php');

$fp = fopen("cache.tmp", "w");

fwrite($fp, $cache);

fclose($fp);

chmod("cache.tmp",0777);

unset($cache);

echo file_get_contents("cache.tmp");

}

komyak добавил 10.06.2010 в 09:05

А как же file_get_contents?? Он же медленней работает и в тоже время это не мешает ему использоваться в сателитных-кмс. Почаще буфер и диру с кешем проверять на устаревшие файлы и всё будет нормально работать.

Парсили хоть раз? Пусть не много, но >1,5к запросов в минуту curl+обычных хостинг отлично тянет. А куда больше? =))