Скрипт с автопополнением белорусских новостей

а что в нём сверхъестественного ??? Грабер неуника с лицензии на пару месяцев. бред.

сверхъестественного ничего нет, конечно же.

но есть такие люди, которым это пригодится.

и по моему опыту, даже если контент копипаст, с ежедневным обновлением, то яша его хорошо держит в индексе вместе с сапой. и постоянно индексирует новые страницы.

Получается что на сайте много тысяч страниц, а страниц с сапой, очень мало. И из-за этого коэффициент очень большой, и яша не банит такие сайты.

Например:

Устанавливаем скрипт

Ждем месяц, лучше два. (за месяц в среднем 30дней*мин.25новых_новостей = 750 страниц)

Ставим сапу, допустим залезло 300 страниц

Следующая выдача, уже прошло около недели. а это +250 страниц.

При том, что яша не сразу обновил по вашему сайту свой индекс, только несколько страниц.

На следующию выдачу, будет еще +250 страниц.

Итого, прошло 2,5 месяца, у вас примерно на 200 страниц имеются только ссылки, а 1000 страниц пустых. Из-за этого яша не банит.

mion, Откуда контент парсится?

интересно... объясните откуда контент парсится?

mion, несколько вопросов.

1) Скрипт работает самостоятельно или надо цеплять к конкретному сайту?

2) Грабится ли картинка, если такова есть в новости?

3) С каких (скольких) источников берутся новости и какая вероятность их дублирования?

На данный момент контент грабится только с charter97<тчк>org

В течении след. недели будут еще парсеры с других источников (новости России, Украины, Казахстана, тематические новости, такие как: автоновости, игровые новости, it-новости и т.д.).

Все другие тематики, будут предоставляться уже бесплатно!! Надо будет иметь только ключ.

Я делаю оплату временную, из-за того, что я беру на себя все проблемы с парсерами (смены дизайнов сайтов-источников, обход защиты сайтов от парсеров и другие ситуации). Создание новых парсеров, создание различных скриптов для парсеров.

На след. недели также, будет раздел на сайте, где можно будет скачивать последние версии скриптов для разбора определенных тематик. Надо будет покупать только ключ.

Итак, Вы получаете уже парсер, который обращается к моему сайту-сервису (т.е. при смене дизайна сайта-источника, вам не придется править парсер, либо просить у меня обновления), где он получает готовый xml-документ, и разбирает его, затем вставляет в mysql-таблицу (разбор и вставка очень просты по коду, даже не опытный php-программист сможет разобраться и подогнать под свой движок).

Для Белорусских новостей, создается только одна таблица с полями (id, title, text, datecreate, tempid, source). Поля описывать не буду, в принципе все ясно. Это я к тому, что парсер не требует отдельной базы, требует только создания одной таблицы, установка в кроне, и создание странички у себя на сайте, которая будет выводить новости. Пример вывода новостей с mysql-таблицы можно взять с предоставляемого моего скрипта, и то это в случае, если вы собираетесь добавить новости уже к готовому сайту.

1) Если я правильно понял, то я описал чуть выше, в этом посте, работу парсера. Если нет, чуть раскройте вопрос. Не совсем понял.

2) В новостях есть картинки, но только они не грабятся. Идет абсолютный путь до картинки, которая находится на сайте-источнике. (Если, интересует грабер, который будет копировать картинки к себе на сайт, могу предоставить, но только к сожалению, через пару недель, из-за нехватки времени).

3) Дублирования новостей не будет. Новости будут всегда грабиться только с одного сайта-источника для темы "Белорусские новости". Если сайт-источник загнется, либо сделает защиту от грабера, которую я не смогу обойти, то будет выбран другой сайт источник "Белорусских новостей". А следующие граберы других тематик (например, Автомобильные новости или Новости РФ) будут уже вставляться в отдельные таблицы.

p.s.: примерно 2 года назад, создал сайт, с таким же парсером, за 2 года уже накопилось свыше 100,000 страниц. Через год существования сайта, тиц сам поднялся до 10. Посещаемость была вроде бы 80-100 человек, пишу по памяти. Сапа висела вроде бы сразу как сайт попал в индекс (+пару недель максимум). Правда печально заканчивается история, через 1,5 года, сломался парсер, и пол года не добавлялись новости, посещаемость и тиц упали до 0, но яндекс все равно оставил страницы в индексе. На данный момент, у этого сайта в яндексе: Загружено роботом(60577), Страниц в поиске(21290). Парсер вновь сделал, посмотрим что будет)).