Реально ли написать такую программу для поиска копипасты в Дзен?

B
На сайте с 22.07.2007
Offline
274
308

Меня задрал Дзен.

За 15 лет десятки тысяч текстов с нашего сайта размещены в Дзен разными пользователями. И видимо каждый текст не по одному разу.

Заполнять форму на каждый найденный такой текст и отправлять на удаление, это годы.

Все осложнилось в последнее время. Весь этот копипаст стал вылезать в Яндексе и Гугл. Да еще и Яндекс завел Нейро.. где вылезает наш текст, но с копий с Дзен, а нас там уже нет.

Реально ли написать программу, которая будет брать каждый текст на нашем сайте (хотя бы заголовок) и искать копии в Дзен?  Хотя бы по гуглу.

Собирать ссылки в таблицу. Потом все сотни тысяч ссылок отправлю в Дзен для удаления. Как план?

Хотя если материал был скопирован 20 раз, гугл покажет только 1 копию.






Алеандр
На сайте с 08.12.2010
Offline
205
#1
Это вам к тем компаниям, которые предоставляют услуги книгоиздателям. У них и софт, который ищет все вхождения и наименования и сразу абузы рассылает и все остальное.
VK
На сайте с 26.04.2006
Offline
175
#2
Baruchka :

Меня задрал Дзен.

За 15 лет десятки тысяч текстов с нашего сайта размещены в Дзен разными пользователями. И видимо каждый текст не по одному разу.

Заполнять форму на каждый найденный такой текст и отправлять на удаление, это годы.

Все осложнилось в последнее время. Весь этот копипаст стал вылезать в Яндексе и Гугл. Да еще и Яндекс завел Нейро.. где вылезает наш текст, но с копий с Дзен, а нас там уже нет.

Реально ли написать программу, которая будет брать каждый текст на нашем сайте (хотя бы заголовок) и искать копии в Дзен?  Хотя бы по гуглу.

Собирать ссылки в таблицу. Потом все сотни тысяч ссылок отправлю в Дзен для удаления. Как план?

Хотя если материал был скопирован 20 раз, гугл покажет только 1 копию.



Питонописатели это часов за 5 соберут без сложностей. На биржу фрилансеров дорога.

Заказывал нечто подобное для досок объявлений. Менее сотни уе вышло. Если без доп доработок потом.

Со всеми плюшками до 300 влезет.




 

Artisan
На сайте с 04.03.2005
Offline
372
#3
Baruchka :

Реально ли написать программу, которая будет брать каждый текст на нашем сайте (хотя бы заголовок) и искать копии в Дзен?  Хотя бы по гуглу. Собирать ссылки в таблицу. Потом все сотни тысяч ссылок отправлю в Дзен для удаления. Как план? Хотя если материал был скопирован 20 раз, гугл покажет только 1 копию.

Реально, даже не через Google, а прямо в медитаторе, и найдёт все заимствования.

www.leak.info / ДАРОМ линки конкурентов и забытых доменов
yodda
На сайте с 22.03.2017
Offline
216
#4
Написать такую программу можно на Python, используя библиотеки для работы с сетью (requests), парсинга HTML (BeautifulSoup), обработки текста (NLTK) и работы с базами данных (SQLAlchemy).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий