дзен, и искусство ухода за АК-47 🚬
голосуйте лучше :)
ой, посмотрел тут свои темы, оказывается прошляпил обсуждение )
Мустафа, там тулза берет контент непосредственно с урла из топа, не из снипа.
Я потом подописывал, сейчас можно сканить серп шагами по писят сайтов (в опциях задаешь Nx50), генериццо все правильно, без багов, как в выложенной версии.
Берется урл, из него тащатся все _предложения_, потом разбиваются на имеющие кей и не имеющие.
В опциях генерилки задаем, юзать допустим по два предложения без кея на каждое с кеем. Предложения берутся рандомом, учитывая вхождение каждого предложения.
На выходе получаем либо плэйнтекст, либо xml, который потом можно в дор свой загонять.
Проблема на самом деле в контенте. Предложениями брать - значит отбросить добрую часть контента, которого во многих нишах в рунете толком-то и нет. По коттеджам ничешно вполне выходит, но какой-нитбудь там адалт вообще отдыхает.
Если брать не предложениями, то выходит стремнее намного.
спасибо за линки.
дык и че, исходящий анлим плюс без соотношений? такое разве бывает? :)
исходящий трафик дорого.. это ж дедик надо брать по-любому.
в общем думал тут, думал, и решил что вещь хотя и хорошая, но лучше попозже. При условии, что поисковик не будет сохранять контент, хотелось бы максимально эффективно скаченное содержимое страниц распарсивать, а я пока не определился с кругом того, что было бы очень неплохо вынимать из страниц.
угу, хороший вариант. я щас собираю непосредственно предложения из контента топовых сайтов по кею (где-то здесь даже самый первый вариант софтины выкладывал). Но это хорошо роботает только в сильных белосеошных тематиках 🙄
Надо тоже попробовать титлы онли ☝
Easy Recovery спасала, теперь всегда ее ставлю вместе с системой.
тоже с одним деревом сроднились, пока вез - с одной из монстер ) вез причем уже взрослую особь - ох натерпелись мы с ней )
И тоже, кстати, как тепло долбануло, за неделю огромный отросток выдал. только потом что-то остановилось, и на листиг никак не разродится :-/
в общем, зачод ботанегам! ;)
левая похожа на галицинскую модель :)
если html криво написан, то наш робот его тоже не разберет. Если робот не пришел, значит придет позже. Это хорошо, что ваш оптимизм позволяет вам думать, что яндекс будет гнаться за нами, а не мы за ним )
