Падение трафика с Яндекса с 12:00 20 мая по всем проектам

B
На сайте с 13.02.2008
Offline
262
#231
GASPARD:
Попробуй заблокировать ip этих сайтов в htaccess, обычно помогает от дальнейшего парсинга.

Блокировку они быстро обнаружат и сменят ip. Лучше им просто подсовывать другой контент.

Gossudar
На сайте с 19.04.2008
Offline
139
#232
borisd:
Блокировку они быстро обнаружат и сменят ip. Лучше им просто подсовывать другой контент.

А есть такие способы или плагины, чтобы подсовывать другое парсерам? Пробовал искать в сети, но ничего толкового не нашел.

AD
На сайте с 05.05.2007
Offline
240
#233
alexx10:
У меня есть пара сайтов, с которых автоматически парсят статьи. Так как мои статьи индексируются позже, они полностью выпадают из поиска, а сайты, копирующие мои статьи, живут и пахнут.

делай тексты с сюрпризом. Буквы e, o, p, a, x, c, y - вставляй латинские, 2- пиши бессмысленные или запрещенные слова в тексте. После того как их спарсят в своей базе замени и удали ненужное. Еще надо перелинковать слова в тексте на подобии Вики, когда разные слова в тексте ссылаются на разные страницы этого же сайта. В хтакесе надо создать такие урлы что бы сайт вора не смог воспроизвести подобный урл на другом домене и на них ссылайся в текстах.

Когда вор заметит что его сайты ссылаются на страницы другого сайта, а урлы он заменить не может или надо возится в коде, он просто удалит a hrefs и это уже будет другой текст, ПС такие тексты воспринимают как ворованные, правда и бонусов оригиналу пока не дают.

A1
На сайте с 23.11.2011
Offline
131
#234
ArmenDomain:
делай тексты с сюрпризом. Буквы e, o, p, a, x, c, y - вставляй латинские, 2- пиши бессмысленные или запрещенные слова в тексте. После того как их спарсят в своей базе замени и удали ненужное. Еще надо перелинковать слова в тексте на подобии Вики, когда разные слова в тексте ссылаются на разные страницы этого же сайта. В хтакесе надо создать такие урлы что бы сайт вора не смог воспроизвести подобный урл на другом домене и на них ссылайся в текстах.

Ссылки на внутренние статьи в текст вставляю, а с остальным проблематично, так как сайтов много и статей много. Выделить неделю на это дело можно, но постоянно что-то менять просто нереально.

R
На сайте с 11.01.2013
Offline
52
#235

Что думаете на счёт обфускаторов? Стоит их использовать?

B
На сайте с 13.02.2008
Offline
262
#236
ravenpaul:
Что думаете на счёт обфускаторов? Стоит их использовать?

Думаю, стоит использовать всё, что усложняет жизнь копипастерам. Любое усложнение повышает цену копирования и школьнику будет проще найти другой источник. Хорошего профи эти усложнения конечно не остановят, но... хорошему спецу имхо проще и значительно выгодней свой нормальный и интересный проект-сервис сделать, чем такой ерундой заниматься.

Я планирую разработку большого проекта-сервиса. Там будут сотни тысяч страниц. Если всё пойдет удачно, то соблазн скопировать базу данных будет большой, причем соблазн этот возникнет уже не у школоты. Поэтому я наверно сделаю что-то типа такого:

Доступ к любой странице будет только через поисковую строку, поэтому просто спарсить весь сайт будет невозможно. А поисковикам укажу все страницы через xml-карту, которую на сайте публиковать не буду, а загружу в вебмастере яндекса и гугла. Как-то так. По крайней мере на первое время, пока сайт не наберет вес. Потом наверно открою, но... предусмотрю какие-нибудь трудно обходимые технические меры - например, после тысячи скачиваний буду выдавать немного искаженную инфу, некритичную для поисковиков, но критичную для реального использования...

AD
На сайте с 05.05.2007
Offline
240
#237

borisd знаю одного параноика, он свои "ценные" тексты в jpeg сделал :) Никто не ворует, но и никто и не читает. Дерзайте :p

К
На сайте с 02.04.2019
Offline
17
#238
borisd:
А поисковикам укажу все страницы через xml-карту, которую на сайте публиковать не буду, а загружу в вебмастере яндекса и гугла. Как-то так. По крайней мере на первое время, пока сайт не наберет вес.

Я немного нуб и новичок и может чего то не знаю, но разве нельзя посмотреть карту любого сайта просто дописав к домену . sitemap.xml

B
На сайте с 13.02.2008
Offline
262
#239
ArmenDomain:
знаю одного параноика, он свои "ценные" тексты в jpeg сделал

У меня будет база данных на миллион записей примерно. Отдельные страницы или даже сотню-другую пусть берут, кто хочет, не жалко. А вот чтобы целиком базу скопировали, мне не желательно. По крайней мере на первых порах.

A1
На сайте с 23.11.2011
Offline
131
#240
Кефир:
Я немного нуб и новичок и может чего то не знаю, но разве нельзя посмотреть карту любого сайта просто дописав к домену . sitemap.xml

Если автор сайта создал sitemap, тогда да

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий