зацените плиз теперь и мой доргенчиг :)

response
На сайте с 01.12.2004
Offline
324
#11

ой, посмотрел тут свои темы, оказывается прошляпил обсуждение )

Мустафа, там тулза берет контент непосредственно с урла из топа, не из снипа.

Я потом подописывал, сейчас можно сканить серп шагами по писят сайтов (в опциях задаешь Nx50), генериццо все правильно, без багов, как в выложенной версии.

Берется урл, из него тащатся все _предложения_, потом разбиваются на имеющие кей и не имеющие.

В опциях генерилки задаем, юзать допустим по два предложения без кея на каждое с кеем. Предложения берутся рандомом, учитывая вхождение каждого предложения.

На выходе получаем либо плэйнтекст, либо xml, который потом можно в дор свой загонять.

Проблема на самом деле в контенте. Предложениями брать - значит отбросить добрую часть контента, которого во многих нишах в рунете толком-то и нет. По коттеджам ничешно вполне выходит, но какой-нитбудь там адалт вообще отдыхает.

Если брать не предложениями, то выходит стремнее намного.

Однопоточный парсер ключевых слов Магадан (http://magadanparser.ru) (со свистелками) Многопоточный парсер ключевых слов Солнечный (http://sunnyparser.ru) (без свистелок)
newseditor
На сайте с 13.11.2006
Offline
123
#12

response, давай заценим окончательный вариант ;)

response
На сайте с 01.12.2004
Offline
324
#13
newseditor:
response, давай заценим окончательный вариант ;)

ну, вариант там не окончательный далеко, но выложу на днях. за это время яндекс чет там подкрутил, теперь регэкспы, видимо, не подходят, надо подправить.

response
На сайте с 01.12.2004
Offline
324
#14

вот так это сейчас выглядит. особо не тестил, прогнал один раз, подправив под яндексовскую новую верстку, так что as is, как обычно.

пишите, че-как.

zip Congen.zip
A
На сайте с 29.12.2005
Offline
118
#15
response:
пишите, че-как.

Чегой-то косит прогу.

Пишет, мол берем инфу с какого то там сайта и на этом засыпает. Проца не жрет, просто в памяти висит. А так вообще мысль очень даже креативная! Нужно развивать.

[Удален]
#16

Ниасилил, соглашусь с мустафой. По каждому запросу топ извлекать ? Да он прибьет через минуту. Несерьезно.

response
На сайте с 01.12.2004
Offline
324
#17
Anton:
Чегой-то косит прогу.
Пишет, мол берем инфу с какого то там сайта и на этом засыпает. Проца не жрет, просто в памяти висит. А так вообще мысль очень даже креативная! Нужно развивать.

косит? ну там просто извращенно вся форма лочится на время запросов, но статусная строка "откуда берем инфу" меняется без подвисаний. Подвисает только на парсинге сграбленного, если много вышло, ибо в основном потоке, но очухивается нормально, если подождать.

response
На сайте с 01.12.2004
Offline
324
#18
Miha Kuzmin (KMY):
Ниасилил, соглашусь с мустафой. По каждому запросу топ извлекать ? Да он прибьет через минуту. Несерьезно.

для подбора тематической рыбы в сплоги вполне себе.

[Удален]
#19

response, не смешите мои ласты. Какое количество запросов ? Даже штуки не пробьет. Так что лажа, а не доргенчик.

response
На сайте с 01.12.2004
Offline
324
#20
Miha Kuzmin (KMY):
response, не смешите мои ласты. Какое количество запросов ? Даже штуки не пробьет. Так что лажа, а не доргенчик.

то что вы в чем-то правы не отрицает того, что вы - бестактное хамло, работающее на дешевый эпатаж. привет Ихтиандрам, еще одно чудо в бан.

меж тем, с помощью подобного подхода вполне себе работают два сплога, по 400-500 уников дают. плохо что-ли, для пару раз нажать на кнопку?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий