Finfuchs

Рейтинг
82
Регистрация
29.06.2010

Немножко кодинга и скачал полностью категорию Мобильные телефоны.

Если кому надо можно скачать, чтобы ночь не парсить и время не терять.

Ссылка на файл

AutoBlogger:
Прикрывают, потому что тупые дебилы (ну родились они такими - какие претензии?) А код можете сами написать или заказать кому-нибудь. Я, например, всего за 30 баков такие парсеры пишу, т.е.практически даром.

Да уж непонятная политика у них какая-то. Прикрыли контентный апи яндекс маркета - в смысле не совсем прикрыли, а сделали платный доступ от 20 килорублей за базовый и 150К за полный доступ. Ладно бы информация была закрытая, как в росреестре по недвижимости, так у яндекс маркета это торговля открытой информацией, которую они бесплатно на своем же сайте предоставляют. Похоже там реально дебилы в менеджменте.

AutoBlogger:
Действительно прикрыли? В принципе, можно ж написать парсер для выдачи https://market.yandex.ru/search?cvredirect=2&text=запрос или по каталогам. Часик позора и код готов :)

Действительно. Поэтому наверное и прикрыли, что никто не пользуется, а пишут свой код.

Ладно буду позориться и писать код.

Я вот тоже думал, что жирным выделяют найденные в тексте слова.

Finfuchs добавил 18.05.2011 в 19:58

Для проверки уникальности я пользовался advego plagiatus и copyscape.com

оба показывают 100% уникальность перефразированного текста.

Finfuchs добавил 18.05.2011 в 20:00

И через год по индексу гугла для сайта вот такие результаты

Всего страниц в Google 114

В основной выдаче Google 22

В supplemental выдаче Google 92 (80.7%)

Это вроде неплохой результат. Или нет?

Val.Volkov:
"Однако если опустить поединки профессионалов". Такое построение фразы, увы, тоже не находится Яндексом.

Мой косяк, признаю. Просто год назад, когда я начинал эксперименты он еще был в индексе. Я на этом сайте экспериментировал.

http://kata-log.ru/sport/dve-storony-boksa.html

можно добраться с главной нажав раздел Спорт.

т.е. никаких выгод от перефразировки нет?

равносильно использованию копипаста?

Т.е. если подчеркнуто жирным, то яндекс точно определил оригинал и перефразированный текст?

Finfuchs добавил 18.05.2011 в 19:45

Меня тоже интересует много. Вы не подумайте, что я собираюсь вступать в споры и что-то доказывать, если Вы правы, то я обязательно с этим соглашусь.

Очень интересная точка зрения, что если яндекс выделил жирным, то значит нашел оригинал.

Сколько держится копипаст в индексе?

Только не приписывайте Яндексу своих способностей распознать текст на 4-м месте в выдаче.

Еще раз повторю, сайт на таком контенте висит уже год в индексе у Яши без единого бэка.

С либ.ру легко найдете. Попробуйте найдите и скажите, что текст неуникальный. И со скриншотами выдачи, чтобы все видели сколько Вы приседаний сделали, чтобы распознать, что текст неуникальный.


Спорта видам противоречивым к тем относится бокс, которые эмоции противоположные диаметрально вызывают у людей разных, спорта вид этот обожают одни, не переносят просто другие. Отмечают вторые то, что насилия много слишком итак в мире, искусственно и еще создается оно так зачем, что в драке красивого? На дух соревновательный упор делают сторонники же, совершенствование и развитие физическое.

Однако если профессионалов поединки опустить, то возраста и от пола вне зависимости каждого и для всех спорта видом отличным стать может бокс. Ведь с кем-то драться не обязательно совершенно, грушу колотить можно, придумана для специально этого она, удара постановкой не тупой заниматься причем, противника на сражение нацеленной, но координации совершенствованием, силы и ловкости. Те, кто боксу учиться начинают, физически не только стойкими более заметно становятся, но морально.

В тонусе организм держать вам помогут занятия непрофессиональные, вес сбросить лишний, мускулатуру развить, реакцию развить, в жизни повседневной полезны чрезвычайно качества это все. Но про то и, что отпор давать приходится в жизни в ситуациях некоторых, ведь людей других со стороны агрессии избежать получается не всегда, не стоит забывать, а уж как наверняка научит бокс для себя безопасно максимально сделать это.

Чуть не забыл. Кому интересно, проверьте распознал ли Word, что "возможно, предложение несогласовано"? :)

В личке возникли вопросы по поводу читабельности получаемых текстов. Текст на видео взят с сайта lib.ru .

Тексты там отформатированы, для красоты, и в них символы переноса строк понатыканы в середине предложения. От этого скрипту тяжело разобраться, где заканчивается абзац и предложение.

У меня нет цели делать скрипт для текстов с либ.ру, поэтому на вход требуется нормальный текст, желательно с соблюдением пунктуации.

Я взял начало текста с http://lib.ru/INPROZ/AGNON/r_teila.txt

Убрал переносы строк и двойные пробелы в тексте, пропустил через перефразировщик.

Если на вход текст вот такой

Была в Иерусалиме старушка. Чудесная старушка, никогда такой не видел. Умная, справедливая, скромная удивительно, симпатичная необыкновенно. Глаза внимательно светятся, а морщинки на лице такие мирные, светлые. Если бы женщины могли походить на ангелов, я сравнил бы ее с ангелом Б-жьим. И еще у нее была девичья живость. Не носи она старушечьи платья, вы бы в ней не увидели старости. Пока я не уезжал из Иерусалима, я не знал ее. Вернувшись, снова в Иерусалим, я с ней познакомился. Как же я не знал ее раньше? А как вы не знаете ее сейчас? Просто каждому на роду написано познакомиться с тем, кого он встречает, и в каком месте, и в какое время, и при каких обстоятельствах. При каких обстоятельствах я с ней познакомился? Было так. Пошел я навестить одного иерусалимского ученого мужа, который живет у Западной Стены, и не нашел его дом. Встретил женщину с ведром в руке и спросил. Она сказала: Пойдемте, покажу. Я сказал: Стоит ли мне затруднять вас? Видно, лучше вернуться обратно. Она улыбнулась и сказала: Вам жалко, если старуха сделает мицву? Я сказал: Если это мицва, - пожалуйста, только дайте мне ваше ведро.

То результат на выходе вот такой

Старушка в Иерусалиме была. Старушка чудесная, не видел такой никогда. Умная, справедливая, удивительно скромная, необыкновенно симпатичная. Светятся внимательно глаза, а мирные такие на лице морщинки, светлые. На ангелов походить могли женщины если бы, б-жьим с ангелом ее я сравнил бы. Живость девичья была у нее еще. Платья она старушечьи не носи, старости не увидели в ней вы бы. Из иерусалима я не уезжал пока, ее я не знал. Вернувшись, в иерусалим снова, познакомился ней я с. Раньше ее я не знал как же? А как сейчас ее вы не знаете? С тем познакомиться написано на роду каждому просто, он встречает кого, месте в каком и, время в какое и, при обстоятельствах каких. Познакомился ней я с при обстоятельствах каких? Мужа ученого иерусалимского одного я навестить пошел так. Было, который у стены Западной живет, дом его не нашел. Спросил и в руке с ведром женщину встретил. Она сказала: Пойдемте, покажу. Я сказал: вас затруднять мне Стоит ли? Видно, обратно вернуться лучше. Сказала и она улыбнулась: жалко вам, если мицву сделает старуха? Я сказал: если мицва это, - пожалуйста, ведро ваше мне дайте только.

sparsis:

На чем вообще написана ваша программа (скрипт)?

На php+mysql

seoBB, Я чувствую себя студентом, которому пытаются преподнести программу детского сада. Я за прошедший год уже перелазил и перелопатил кучу информации. Только вы забыли упомянуть, что товарищи с АОТ не делятся исходныи кодом апплета, ту картинку, что Вы приводите. И товарищи из АОТ уже работают на Яндекс, это Вам к сведению про между прочим, как занимательный факт.

Я тестировал результаты скрипта на том апплете и он прекрасно разбирал мои переделанные предложения.

Достаньте мне исходники на любом языке(Java, Python, C++, да что угодно) а потом умничайте.

И этот скрипт, который я продаю является только частью другого более глобального исследования, причем как побочный продукт, я занимаюсь этим не ради денег изначально.

Если интересно, то я занимаюсь разделением частей речи на абстрактные группы и пытаюсь выстроить взяимосвязи между ними.

Например, Существительные делятся на предметы, явления, места, персонажи, процессы, понятия. Эти группы тоже подразделяются на более мелкие. Предметы делятся на вещества, механизмы и т.д.

Также с глаголами и другими частями речи.

Я пытаюсь сделать алгоритм который будет думать абстрактно

Персонаж воздействовал на бытовой_предмет веществом.
В месте произошло явление, которое воздействовало на предметы.

А по таким шаблонам можно будет получать терабайты текстов. И связи для нейронной сети легче держать между группами, чем между каждым словом.

У меня уже почти готов модуль, который может из инфинитивной формы получать любую форму.

Для существительных склонять в любой падеж и число, для прилагательных в падеж, число, род и т.д. для остальных частей речи.

Просто если у вас изначально цель заработать денег, то у вас не получится что-то создать.

Я уже забыл про тот скрипт, просто ко мне обратились с просьбой продать его, вот я подумал, что может еще кому надо. Не хотите не покупайте, я не настаиваю, у меня достаточно денег и без ваших покупок.

seoBB:
Все эти вопросы уже давно решены товарищами с aot.ru.

Хрена с два у них получилось решение 😂

Рисование картинок у них получилось, и "взять анализы" 😂

seoBB:
У меня сложилось такое впечатление, что вы пытаетесь подойти к задаче не с той стороны :)

Да, я пытаюсь подойти к задачам совсем с других сторон. Все лезут в синонимайз, а я зашел с другой стороны 🍿

Все пытаются разбирать и анализировать тексты, которые есть.

А я пытаюсь понять суть, как оно вообще в мозгу у человека происходит.

Dicfro:
ТС, как индексируется обработанный текст? есть примеры сайтов в индексе?

Скинул в личку. Просьба не палить публично, с сайта идет деньга.

123 4
Всего: 38