Парсер комментариев с Youtube (Тестирование и продажа)

LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#31
vlad00777:
Видать активно тестят форумчане :)
Не знаю насколько верно, но мне кажется, если на 1-ой странице нет комментариев, значит они закрыты и дальше парсить нет смысла, а у вас скрипт и дальше работает и естественно ничего не находит.
П.с кстати, когда комментариев нет, не пишет что их ноль, а просто:
"Найдено комментариев: "

********ка это остаток роскоши, просто с ней работаю по другим проектам, а тут отразилось хехех.

закрыты и дальше парсить нет смысла, а у вас скрипт и дальше работает и естественно ничего не находит.

Уже всё ок :)

---------- Добавлено 05.07.2012 в 03:12 ----------

vlad00777:
И вижу что комментарии дублируются, причем какие по 2, какие по 7 раз. Делайте проверку на дубли.

В каком отчёте и какие именно дублируются?

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
vlad00777
На сайте с 24.12.2009
Offline
119
#32
LEOnidUKG:
В каком отчёте и какие именно дублируются?

Вверху сегодняшняя дата и "Показать".

Не могу найти эти комментарии к видео. Хотел посмотреть это на ютубе дубли или в программе.

Верстка. Качественно! Адаптивная, резиновая, с параллаксом и прочими плюшками. В ЛС.
LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#33
vlad00777:
Вверху сегодняшняя дата и "Показать".
Не могу найти эти комментарии к видео. Хотел посмотреть это на ютубе дубли или в программе.

Ок. Посмотрю уже завтра. Сейчас на сервере обновляется mysql до 5,5 версии.

---------- Добавлено 05.07.2012 в 03:25 ----------

vlad00777:
Вверху сегодняшняя дата и "Показать".
Не могу найти эти комментарии к видео. Хотел посмотреть это на ютубе дубли или в программе.

Мне бы само название комментария, как он звучит :)

Вообще дублировать не может физически, это значит к видео идут дубли.

IL
На сайте с 20.04.2007
Offline
435
#34

2012-07-05%2006:52:24 -

Есть некоторые комментарии, которые не попадают в результат. Хотя, вроде, под фильтр не должны попадать. Например, коммент из первого (в отчёте 1SWrH4exaoU) видео с 84 лайками.

Быть может, имеет смысл добавить список стоп слов.. или (в перспективе?) даже нескольких заранее подготовленных списков с возможностью управления - [мат], [политика] и тд

У самих комментариев нет никаких id-шников? Возможно, будут полезны при добавлении новых комментариев к уже имеющимся (повторный парсинг)

... :) Облачные серверы от RegRu - промокод 3F85-3D10-806D-7224 ( http://levik.info/regru )
LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#35
Есть некоторые комментарии, которые не попадают в результат.

Они находяться ЗА пределом 2-х страниц, а в демо версии там именно такое ограничение.

LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#36
ще бы каким-то образом отсеивать такие комментарии: "55555555555555555555555555555555555555555555555555". Вот например если больше 3-х одинаковых символов идет последовательно, то пропускать этот коммент. (в русском только слово: "длинношеее" имеет 3 одинаковых буквы подряд)

Сделал :)

Обновление:

[Исправлено] Перенесены некоторые настройки

[Добавлено] Функция "Убрать спам"

[Добавлено] Корректировать повторяющие символы (АААА => А)

Корректировкой кстати, можно добиться не большой уникальности :)

IL
На сайте с 20.04.2007
Offline
435
#37
LEOnidUKG:
Они находяться ЗА пределом 2-х страниц, а в демо версии там именно такое ограничение.

Вполне возможно - Вам виднее (хотя, на первой странице топика про 5 страниц написано)

Однако, следующий комментарий /см комментарий, содержащий "норм так)))" / попал в результаты парсинга.. (информация о результате парсинга в предыдущем сообщении). Оригинальные комментарии :

_youtube.com/all_comments?v=1SWrH4exaoU

А чуть ниже cACSoN1U_kw - количество комментариев на ролик явно больше двух страниц.

p.s. исключительно в качестве багрепорта.

LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#38

ivan-lev, на первой странице ядро было другое, оно парсило по 10 комментариев на 1 странице.

Насчёт комментария, который пропал. Скрипт просто резал многострочные и брал только первую строчку. Сейчас это исправлено.

---------- Добавлено 05.07.2012 в 18:53 ----------

Читая коменты понял, что без стоп-слов тут не обойтись.

Добавил такой функционал. Сейчас там куча мата введено, редактировать можно будет в файле конфига.

irisat
На сайте с 20.03.2012
Offline
197
#39

Кстати, коммены можно будет по ключу отбирать - что бы в комментах было искомое слово/словосочетание или одно из слов сочетания?

Сейчас хорошо, но комменты с нужными ключами думаю многим пригодятся)

LocalBitcoins (https://goo.gl/1Yxi8M) | Бот обменник (https://goo.gl/bPTaiF) - Покупка и продажа bitcoins! Биржа криптовалют №1 (https://goo.gl/6r6icz) - более 350 пар!
LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#40
irisat:
Кстати, коммены можно будет по ключу отбирать - что бы в комментах было искомое слово/словосочетание или одно из слов сочетания?
Сейчас хорошо, но комменты с нужными ключами думаю многим пригодятся)

Ну во комментах это сложновато, если честно. Не в плане реализации, а в плане применения :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий