_Snake_

_Snake_
Рейтинг
151
Регистрация
06.12.2010
Ringozo:
Проблема в file_get_content может быть из-за неправильных прав файлов на хостинге откуда берутся снипеты?

Ты ведь читаешь "внешний файл" по урл. А права распространяются на чтение локальных файлов(с линуксе chmod).

Проблемы могут быть при отсутствии коннекта от твоего сервера до сервера, где лежит скрипт. А ну или может сработать DDOS защита и твой IP кикнет на какое-то время.

plattoo:
Дык, зачем? Если я правильно понимаю, сабака отключает вывод ошибок. Это не кошерно. Быдлокодить нужно без ошибок 🙅

Из описания file_get_contents

Будет сгенерирована ошибка уровня E_WARNING, если параметр filename не удается найти, параметр maxlength меньше нуля или поиск по смещению offset в потоке завершается неудачно.
Dos3:
так он и не нужен в этом режиме, он сам принимает и отсылает

Погоди чёт ты меня запутал, какой режим?

curl_setopt($ch, CURLOPT_COOKIE, 1); - тут вообще дожна быть строка с куками

curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE); - а это для того, чтобы куки-сессии не сохранялись до кучи с постоянными куками.

Или я где то туплю? Вроде по мануалу всё так.

plattoo:

Для этого в index.php ты пишешь

$page = file_get_contents('http://sovet-yurista.hyperphp.com/google/?l=ваш кейворд');
include $_SERVER['DOCUMENT_ROOT'].'/bez-sms-i-registracii.html';

Думаю стоит вот так.


$page = @file_get_contents('http://sovet-yurista.hyperphp.com/google/?l=ваш кейворд');
include $_SERVER['DOCUMENT_ROOT'].'/bez-sms-i-registracii.html';
Ringozo:

По поводу бана гугла, самому интересно. Есть один пример, но трафа в нем слезы - 50 хостов.

Ты ведь сниппеты и ботам показываешь? Я правильно понимаю? Значит парсинг будет чаще чем 50 раз в сутки. 50 хостов это не мало. Ну смотря какой по размеру дор.

Ringozo:

$lines = file('http://дор.ру/google/?l=кей');

Это тоже самое, что file_get_contents только после получения документа строки преобразуются в массив, причем криво преобразуются т.к остаётся символ перевода коретки "\n". Ржали потому, что глупо получать документ, разбивать его на части, а потом эти части склеивать, чтобы получить в результате тот же документ.

Ringozo:

зы Кстати, люди говорят, что в дорах надо собаку съесть. Я уже две захавал, безрезультатно.

Не ной, ни кто тебя тут насильно удерживать не будет, даже глубоко в душе рады будут, что забьёшь, как говорится меньше народу больше кислороду. Так что мотивируй себя сам или забьёшь.

rifmir:
Как тогда ты объяснишь что идентичные доры заходят в индекс по разному? тоесть доры на одном шабе

Не знаю о чём ты.

rifmir:
Важнее вопрос: Я так понял проспам работает так - если не спамить бот может зайти и не поселиться на доре и в итоге даже пропасть. а по ссылкам из спама он заходит регулярно. Такая примерно логика?

Нет не такая, если бот не хочет селиться на твоём сайте, то ты хоть заспамься, он не будет этого делать. Спам придаёт веса твоим страницам(не любой), что соответственно должно влиять на ранжирование.

TopperHarley:
Если виснет на "98% - Сохранение файлов" то на быстром диске эта стадия будет пролетать моментально. Плюс общее время генерации будет меньше.

Вот именно интересует уменьшится ли общее время генерации, т.к поставил на генерацию 1,5кк ключей где-то в 12 ночи на данный момент 52%

TopperHarley:
Системный винт тут по-моему вообще не при делах.

Ну мало ли, может файл подкачки или ты используешь какие-то временные папки.

Dos3, у тебя ошибка стоит CURLOPT_COOKIE 1, а файл для хранения кук не указан.

Ringozo:
тож сами недавно смеялись с кода, говорили, нах там цикл какой-то.

Ты не ответил на вопрос, что не работает то?

И ещё вопрос, сколько снипетов вы так сможете дёрнуть, пока гугл не отправит в бан ваш IP?

Топер такой вопрос, у меня на буке медленный жеский 5400 rpm. Если я поставлю sdd со скоростью записи 525 MB/s как дополнительный(систему гемор на него переставлять) увижу ли я прирост в производительности или из-за того, что системный медленный генерация будет тормозиться?

Проц i7 - 2.4GHz

Оперативы - 8Gb

Всего: 1049