vldm: Вполне можно читать например по одной тематике 1- новость с одного сайта 2- я новость другого сайта и т.д. а вот делать полную зеркалку с другого сайта это наказуемо
Так скрипт не делает зеркало одного сайта, он собирает на одном сайте контент с N-ного кол-ва сайтов.
Насчет прокси... наверное надо прикрутить. Только используя прокси из публичных прокси-листов скорость работы упадет в разы, по понятной всем причине... Даже если чекать время отклика и выбирать лучшие, все равно упадет скорость
Achilles: Проблема в том, что данный контент будет дублированным.
Я уже отвечал на этот вопрос на другом форуме примерно так: если есть санкции за дублированый контент, то почему блоги, 97% которых это дубликаты, нормально себя чувствуют и не страдают от этого
Achilles: Или все же, у вас предусмотрено "перемешивание" содержимого? И возможна ли загрузка контента на один домен, например, с N доноров (и по шаблонам)?
Я не совсем понимаю термин "перемешивание"... На один сайт можно грузить контент хоть с тысячи других сайтов. Главное что бы ресурсов хватило.
А комаров не разводишь? Я бы купил миллиончик-другой. ;)
Добровольно или нет Вы уже решайте сами. В конце концов я продаю только инструмент а не управляющий состав, который решает такие задачи.
Как начнем разводить комаров, что конечно врядли, я сразу напишу Вам в личку коммерческое предложение :)
Lupus: а что значит дёргает полный контент ?
тупо убирает html теги и выдаёт контент ?
Вырезает нужный фрагмент HTML по указанному шаблону сохраняя лишь основные теги форматирования.
Lupus: или можно указывать что дёргать на однотипных страницах, сейчас что то похожее пишу, но если реализация хорошая, готов купить.
Наверно это именно то, что Вы сейчас пишите
Lupus: какие ресурсы сервера нужны ?
какой алгоритм ?
Требуемые ресурсы зависят от того сколько Вы сайтов собираетесь "обрабатывать". Практика показала, что на обычном виртуальном хостинге ресурсов хватает для сграбливания 30-40 сайтов
всем кто примеры просил, проверьте личку, скинул по два раза, первый раз адрес неправильно написал :)
antuan, отправил
Вполне можно читать например по одной тематике 1- новость с одного сайта 2- я новость другого сайта и т.д. а вот делать полную зеркалку с другого сайта это наказуемо
Так скрипт не делает зеркало одного сайта, он собирает на одном сайте контент с N-ного кол-ва сайтов.
Насчет прокси... наверное надо прикрутить. Только используя прокси из публичных прокси-листов скорость работы упадет в разы, по понятной всем причине... Даже если чекать время отклика и выбирать лучшие, все равно упадет скорость
Тогда как человек это читать будет если всё перемешивается? Я написал в начале топика, что скипт не для создания дорвеев.
Через прокси неходит. Но, к примеру у меня на хостинге, это можно настроить средствами сервера.
Проблема в том, что данный контент будет дублированным.
Я уже отвечал на этот вопрос на другом форуме примерно так: если есть санкции за дублированый контент, то почему блоги, 97% которых это дубликаты, нормально себя чувствуют и не страдают от этого
Или все же, у вас предусмотрено "перемешивание" содержимого? И возможна ли загрузка контента на один домен, например, с N доноров (и по шаблонам)?
Я не совсем понимаю термин "перемешивание"... На один сайт можно грузить контент хоть с тысячи других сайтов. Главное что бы ресурсов хватило.
Примеры смотри в личке
А доноры, это добровольно?
А комаров не разводишь? Я бы купил миллиончик-другой. ;)
Добровольно или нет Вы уже решайте сами. В конце концов я продаю только инструмент а не управляющий состав, который решает такие задачи.
Как начнем разводить комаров, что конечно врядли, я сразу напишу Вам в личку коммерческое предложение :)
а что значит дёргает полный контент ?
тупо убирает html теги и выдаёт контент ?
Вырезает нужный фрагмент HTML по указанному шаблону сохраняя лишь основные теги форматирования.
или можно указывать что дёргать на однотипных страницах, сейчас что то похожее пишу, но если реализация хорошая, готов купить.
Наверно это именно то, что Вы сейчас пишите
какие ресурсы сервера нужны ?
какой алгоритм ?
Требуемые ресурсы зависят от того сколько Вы сайтов собираетесь "обрабатывать". Практика показала, что на обычном виртуальном хостинге ресурсов хватает для сграбливания 30-40 сайтов
а можно на примерчик взглянуть?
Смотри в личке
Илья, и тебе отправил в личку
смотри в личке
А покажите хоть один пример сайта на который такое выводится в гугле. Что то я столько дупликатов перепробывал и не нашел ничего подобного.
to SHOCKER
отправил