Хорошо, поразмыслив, не зная как он работает, за пару дней я написал свой: работает на mysql database, php, генерирует sitemap и robots под домен при ображении к ним; sitemap.xml отлично читаемый поисковиками (даже на 1кк ключей); в mysql лежат только ключи и ничего более; чпу для ссылок; поиск картинки под ключ (ya.ru + bing.com); парсер видео из youtube (а когда не дает видео, то bing); парсер текста по аналогу автодора (о котором я слышал всего один раз); и дааа, самое важное, что желает каждый дорвейщик - автоматический парсер ключей (на 1 нч ключ может дать до 40 уник. ключей из списка в 1кк нч). Дорген дописан, пару шаблонов сделано.
Собрал немного ключей: - фильмы: 1кк - школа: 150к - игры: 300к (на первом этапе, думаю, немного, но ведь они автопарсятся и сразу в бд)
Прям за пару дней? ;)
GamePost: Нынче хочется иметь такую прибыль, как на картинках :2cents: Буду тогда выкладывать скриншоты, а пока что пойду дизайнов налеплю =)
Не знаю конечно о каких скринах идёт речь, ну скорее всего суммы там хорошие. Навыки программиста это замечательно, это уже не уровень школьника. Только учти, что запилить генерированный сайт - одно, а создать дорвей это другое, много подводных камней. И многие скрины которые ты видел, это что-то типо скринов оверлокеров(вот я разогнал свой комп посмотрите какой я класный! И ни кого не волнует, что эти результаты на минуты работы). Т.ч. сильно губу не раскатывай, что сразу выйдешь на сверхприбыли, возможно даже наоборот в убыток. А вообще желаю удачи, если долго мучатся, то что-нибудь получится.
_Snake_, а в несколько потоков на чтение и запись? В сравнении с мускулом.
Читать в несколько потоков пожалуйста, сколько угодно, притом даже лучше чем с mysql, т.к файл читается на прямую и нет ни какого подключения через сокеты. А вот запись... Файл блочится на время записи. Там можно конечно выставить таймаут для создания очереди, но для этого лучше использовать mysql она больше заточена для многопользовательской записи.
---------- Добавлено 08.03.2016 в 04:04 ----------
sidorka: bolyk, я до noSQL еще не дошел.
А тебе она и не нужна, ну если ты википедию не собрался свою писать или хранить сложные деревья.
anotherbird: так то оно так, но что такое нагрузка на вебсервер всех вместе взятых ботов из списка этого топика по сравнению с дядями: google|bing.. я бы примерно определил как 0.1% ну ещё может настырный Baiduspider/2.0 беспокоит
Не скажи, какой-нибудь маджестик тоже жрёт будь здоров.... Порой по больше гугла и бинга вмести взятых.
---------- Добавлено 08.03.2016 в 02:26 ----------
anotherbird: посмотрев первый лист топика, показалось, что почти все тут винтажные мазохисты, и до сих пор сидят на апаче, извращенцы.
Мне вообще по барабану на чём сидеть, моё дело кодить, а серваками пусть занимаются админы, а на локалхосте, у меня нет ни гуглоботов, ни 100к юзеров.
---------- Добавлено 08.03.2016 в 02:32 ----------
sidorka: Кто как хранилище контента в диндорах организовует? MySQL, SQLite, файлы, еще как-то?
Тестил sqlite под одну задачу - пулит как надо, конечно если речь идёт именно о чтении или о записи в однопоточном режиме. Особенно если есть ssd и правильно расставить индексы, можно хоть террабайтные БД делать.
---------- Добавлено 08.03.2016 в 02:34 ----------
bolyk: Могу подсказать сотфт. Файлы, Sqlite, APC, Xcache, Memcache, Memcached, Redis, Mongo из коробки:)
vastmanager: В вышестоящую диру положи, тогда действие распространяется на все ниже расположенные папки, если в них нет своего файла .htaccess
Если директивы .htaccess, на нижних уровнях, не перебивают директивы .htaccess ближе к корню - так будет вернее. Но вообще как уже выше писали, для таких целей есть nginx.
Хорошо, поразмыслив, не зная как он работает, за пару дней я написал свой: работает на mysql database, php, генерирует sitemap и robots под домен при ображении к ним; sitemap.xml отлично читаемый поисковиками (даже на 1кк ключей); в mysql лежат только ключи и ничего более; чпу для ссылок; поиск картинки под ключ (ya.ru + bing.com); парсер видео из youtube (а когда не дает видео, то bing); парсер текста по аналогу автодора (о котором я слышал всего один раз); и дааа, самое важное, что желает каждый дорвейщик - автоматический парсер ключей (на 1 нч ключ может дать до 40 уник. ключей из списка в 1кк нч).
Дорген дописан, пару шаблонов сделано.
Собрал немного ключей:
- фильмы: 1кк
- школа: 150к
- игры: 300к
(на первом этапе, думаю, немного, но ведь они автопарсятся и сразу в бд)
Прям за пару дней? ;)
Нынче хочется иметь такую прибыль, как на картинках :2cents:
Буду тогда выкладывать скриншоты, а пока что пойду дизайнов налеплю =)
Не знаю конечно о каких скринах идёт речь, ну скорее всего суммы там хорошие. Навыки программиста это замечательно, это уже не уровень школьника. Только учти, что запилить генерированный сайт - одно, а создать дорвей это другое, много подводных камней. И многие скрины которые ты видел, это что-то типо скринов оверлокеров(вот я разогнал свой комп посмотрите какой я класный! И ни кого не волнует, что эти результаты на минуты работы). Т.ч. сильно губу не раскатывай, что сразу выйдешь на сверхприбыли, возможно даже наоборот в убыток. А вообще желаю удачи, если долго мучатся, то что-нибудь получится.
Итог у всех дорвейщиков один
Спасибо бро, поржал от души! 🤣
Да мне тоже приятно было, пока они шантажировать не стали ментами.
А насчёт чего предъявляли, если не секрет? Ключи за фильтрованные попадались?
bolyk, Тебе не жалко свои доры палить? Или это реклама?
В смысле почаще?
В смысле берёшь свежий домен и паркуешь к платнику :)
У меня последнее время на лимоне такая же хрень как и на LP. Не хотят подписываться, хоть тресни.
Домены по чаще паркуй и будет счастье :)
_Snake_, а в несколько потоков на чтение и запись? В сравнении с мускулом.
Читать в несколько потоков пожалуйста, сколько угодно, притом даже лучше чем с mysql, т.к файл читается на прямую и нет ни какого подключения через сокеты. А вот запись... Файл блочится на время записи. Там можно конечно выставить таймаут для создания очереди, но для этого лучше использовать mysql она больше заточена для многопользовательской записи.
---------- Добавлено 08.03.2016 в 04:04 ----------
bolyk, я до noSQL еще не дошел.
А тебе она и не нужна, ну если ты википедию не собрался свою писать или хранить сложные деревья.
так то оно так, но что такое нагрузка на вебсервер всех вместе взятых ботов из списка этого топика по сравнению с дядями: google|bing.. я бы примерно определил как 0.1% ну ещё может настырный Baiduspider/2.0 беспокоит
Не скажи, какой-нибудь маджестик тоже жрёт будь здоров.... Порой по больше гугла и бинга вмести взятых.
---------- Добавлено 08.03.2016 в 02:26 ----------
посмотрев первый лист топика, показалось, что почти все тут винтажные мазохисты, и до сих пор сидят на апаче, извращенцы.
Мне вообще по барабану на чём сидеть, моё дело кодить, а серваками пусть занимаются админы, а на локалхосте, у меня нет ни гуглоботов, ни 100к юзеров.
---------- Добавлено 08.03.2016 в 02:32 ----------
Кто как хранилище контента в диндорах организовует? MySQL, SQLite, файлы, еще как-то?
Тестил sqlite под одну задачу - пулит как надо, конечно если речь идёт именно о чтении или о записи в однопоточном режиме. Особенно если есть ssd и правильно расставить индексы, можно хоть террабайтные БД делать.
---------- Добавлено 08.03.2016 в 02:34 ----------
Могу подсказать сотфт. Файлы, Sqlite, APC, Xcache, Memcache, Memcached, Redis, Mongo из коробки:)
Дай догадаюсь, Open Server?
nginx для статики норм. вроде. На динамике у меня глюки дает, что ну его нах. В настройки лезть не хочется.
Nginx для всего, просто использовать его правильно умеет мало кто(и я в том числе), на лицо вредная привычка разработки на винде 😂
В вышестоящую диру положи, тогда действие распространяется на все ниже расположенные папки, если в них нет своего файла .htaccess
Если директивы .htaccess, на нижних уровнях, не перебивают директивы .htaccess ближе к корню - так будет вернее. Но вообще как уже выше писали, для таких целей есть nginx.