Platon007

Рейтинг
145
Регистрация
22.08.2008

sabotage, как видите, я постоянно выкладываю новые файлы. Вас достану просить залить новый файл. И статистика количества скачиваний есть?

Platon007 добавил 26.09.2008 в 16:05

скачиваний совсем немного, может 6 в сутки есть.

Platon007 добавил 26.09.2008 в 16:10

SuperFly, ☝

Приношу свои извинения, поторопился запустить в народ.

query.units=1 означает, что поисковик воспринимает параметр как страницу, т.е. например yandex

query.units=0 означает абсолютную позицию, т.е. как у google

SESpider v0.4.10 (2.63 Мб)

или

SESpider v0.4.10u (139.27 кб)

Platon007 добавил 26.09.2008 в 15:46

Также принимаю предложения о месте хранения файлов, ifolder меня напрягает своей всплывающей рекламой, и уверен всех остальных.

Platon007 добавил 26.09.2008 в 15:48

SuperFly, если что-то получилось, прошу в студию.

Мне вот интересно, у гугла информация о запросах пользователя собирается по всем доменам или каждый ловит капчу самостоятельно?

Platon007 добавил 26.09.2008 в 13:47

kravovich, ваше предложение реализовано.

Руководство к использованию.

теперь есть возможность устанавливать новые поисковики без сторонней прораммы, достаточно подложить файл install.xml в папку. Пример его содержания:


<seinstall>
<item>
<name>Google.com.ua</name>
<id-name>google.com.ua</id-name>
<class-name>ru.vingrad.platon.sespider.GoogleComUaSpider</class-name>
<requests-per-period>1</requests-per-period>
<period>1000</period>
</item>
<item>
<name>Peace.Will.Come</name>
<id-name>configurable.name</id-name>
<class-name>ru.vingrad.platon.sespider.ConfigurableSpider</class-name>
<requests-per-period>1</requests-per-period>
<period>1000</period>
</item>
</seinstall>

1-й item устанавливает google.com.ua, который уже в программе, но не отображается в списке поисковиков.

name - имя поисковика, значение, которое отображается в списке поисковиков

id-name - уникальное имя поисковика, по нему можно удалить поисковик

class-name - путь к классу

requests-per-period - число запросов за период времени

period - сам период ^_^

2-й item намного интересней.

Теперь у мастеров появилась возможность настраивать собственные поисковики. для этого

нужно class-name установить ru.vingrad.platon.sespider.ConfigurableSpider

остальное всё такое же как в 1-м элементом + появилась привязка к id-name, дополнительная информация для подобных поисковиков будет браться из файла /conf_spiders/<%id-name%>.cfg

Описание самого файла:


query=http://peace.will.com/search.html?keyword=%s&start=%d
regexp=<li><a href="(.+?)">(.+?)</a><div class="s">(.*?)<br>
regexp.linkPos=1
regexp.titlePos=2
regexp.descriptionPos=3
items-per-page=10
query.encoding=UTF-8
query.units=1

query - запрос к поисковику, %s - ключевая фраза, %d - позиция с которой начинается выдача. Если вы не знаете, как форматировать строку, то порядок объявления %s и %d строгий, т.е. сначала ключевая фраза, затем позиция.

regexp - выражение, по которому идет выборка из текста полученного от поисковика.

regexp.linkPos-позиция в регулярном выражении ссылки на сайт

regexp.titlePos-заголовок сайта в снипете

regexp.descriptionPos-описание сайта в снипете

items-per-page - количество позиций на странице, которые выдает поисковик

query.encoding - кодировка, в которую необходимо закодировать ключевое слово

query.units - поисковик исчисляет позицию в страницах или в позициях, к примеру google выдает в позиция, то query.units=1, если это yandex, который выдает в страницах, то query.units=10, других значений быть не может, но на строгое их ведения я не обращаю внимания.

Platon007 добавил 26.09.2008 в 14:00

а если быть точнее query без проблем можно записать так:

query=http://peace.will.com/search.html?start=%2$d&keyword=%1$s

Platon007 добавил 26.09.2008 в 14:15

SESpider v0.4.10 (2.63 Мб)

или

SESpider v0.4.10u (139.23 кб)

ruSkif, инвесторы? Звучит заманчиво.kravovich, предложение неплохое, сам думал об этом. Можно попробовать.

Кстати, подключил поддержку украинского языка и google.com.ua Спасибо IOAN'у

SESpider v0.4.9 (2.62 Мб)

или

SESpider v0.4.9u (133.87 кб)

добавление Google.com.ua:

AddGoogleComUa (1.22 кб)

I0AN, ок учтем.

Я вижу у темы появилась оценка, спасибо большое :)

SuperFly, было бы неплохо.

+ Долгожданная поддержка подключения через Proxy

SESpider v0.4.8 (2.62 Мб)

или

SESpider v0.4.8u (129.05 кб)

Нет, ошибаетесь.

Platon007 добавил 22.09.2008 в 10:28

- Исправлена проблема с некоторыми favicon

+ Добавлен поисковик Google.lv

+ Добавлена поддержка латышского языка

Спасибо one за помощь

SESpider v0.4.7 (2.61 Мб)

или

SESpider v0.4.7u (122.55 кб)

Platon007 добавил 22.09.2008 в 10:41

Программка добавления Google.lv в список поисковиков 1.13 кб

Программа SESpider должна быть закрыта

Распаковать в папку с основной программой,

запустить AddGoogleLv.bat,

удалить файлы AddGoogleLv.bat и AddGoogleLv.class

one:
А что стоит добавить другие регионалльные зоны гугла в програмку?

$200 :)

В каком смысле что стоит?

Интересно, как-то приходило мне в голову написать подобную софтину... Опоздал ^_^

NeoSky:
недоделка, надобы автоматом расширение добавлять

Т.е. как добавлять? Добавляется ведь расширение .xsl

NeoSky:
предложил сохранить файл с расширение любые

Переварить фразу не могу...

NeoSky:
указал путь, но файл не появился, т.е. не сохраняет

да это нехорошо, значит где-то ошибочка. Если есть возможность запустите программу через run.bat и киньте в личку что он там выводит, если что-то выводит при экспорте в файл.

Platon007 добавил 19.09.2008 в 17:38

Приношу всем свои извинения, сборка программы получилась неправильной

SESpider v0.4.6.1 (2.61 Мб)

или

SESpider v0.4.6.1u (1.28 Мб)

Успел исправить ошибку с загрузкой иконки.

Всего: 344