Как я поборол воровство контента с сайта.

Links Forever · 2012-08-23T14:06:42.0000000Z

Одним прекрасным июньским днем я решил проверить, кто и в каком количестве копирует контент с моего сайта. Сайт хороший, ему шесть лет, ЯК, ДМОЗ, Яндекс Новости, Гугл новости, Рамблер Новости и т.д. Копипастили с сайта всегда, но в довольно ограниченных количествах и особо не напрягали, да еще и ссылку на меня иногда ставили, так что я особо внимания не обращал. Все равно всегда по запросам выше выходил. Так вот. Проверил я себя просто. Копировал часть текста и вставлял в Яндекс запрос в кавычках и смотрел результат. И что же я обнаружил Во-первых, какой-то faggot тупо меня зазеркалил, видимо сделал на своем домене c-name запись на мой и вышел как зеркало. В результате какой-то полугодичный говнодомен по всем запросам в кавычках был на первом месте, мой же домен был внизу списка копипастеров, а зачастую вообще в соплях Яндекса типа «показать все похожие результаты». Во-вторых, оказалось, что количество копипастеров превышает десяток (а то и два десятка!). Среди них есть как обычные грабберы, так и те, кто копипастит вручную, полностью переделывая статью под свой сайт. И такой результат выдачи, что они в ТОПе, а я в попе, не смотря на то, что я свои статьи запихиваю в сервис веб-мастера «Оригинальные тексты» и как партнер Яндекс Новостей, мои статьи индексируются минут за 10. А их только на следующий день в лучшем случае. Пришлось озаботиться данной проблемой. И так. Первое, что я сделал, это отрубил всех грабберов, в том числе и зазеркалившего меня. Сделал просто, домены и их IPшники занес в фаерволл сервера. Да, муторно, да вручную, но на тот момент мне был важен результат как можно скорей. Если найдутся люди у которых руки попрямей, чем у меня, смогут написать простой серверный скрипт, который будет грабберов заносить в фаерволл автоматом. Например, можно сделать так, в конце статьи ставится уникальный код IDDQD1 и далее раз в сутки парсится выдача на наличие этого уникального кода. Те кто копируют вслепую граббером, скопируют и код в конце статьи, следовательно всех их в фаерволл. Можете предложить более красивый вариант. Суть данной моей статьи не в описании сугубо конкретных мер и решений, а описать проделанную мной работу в общем, и достигнутый результат. Второе, что я сделал. Нарезал статьи на длинные предложения (5-6 слов) и купил на эти длинные анкоры ссылок в сапе, самых дешевых, штук по 20-30 на статью. Сейчас я стараюсь забивать статьи на сайт заранее, за неделю до публикации, но сразу, как только заношу статью в базу сайта и узнаю ее URL при публикации, иду в сапу и накупаю таких ссылок на еще неопубликованную статью. Да, метод не самый окупаемый для новостных сайтов, поэтому со старых статей 3-4х месячной давности, я ссылки снимаю, при условии, что эти ссылки не участвуют в раскрутке НЧ этих статей. Ведь можно соединить полезное с еще полезным! Третье. Я это делал и ранее и сейчас продолжаю делать, я все статьи загоняю в сервис веб-мастера «Оригинальные тексты». На первый взгляд вещь бесполезная, но на самом деле оказалась нужно при следующем моем действии. Последним действием было письмо в Яндекс. В котором я помимо прочего, упомянул, что использую сервис «Оригинальные тексты» и дескать мол, я все ж автор, а не кто-то другой. Конечно, Яндекс на прямую не признал это, но учёл. Вот такое письмо я им накатал: В последние несколько месяцев складывается парадоксальная ситуация с ранжированием моего сайта *****.ru. Сайт описан в Яндекс каталоге, Является партнером Яндекс Новости и Яндекс Директ. Например, на сайте опубликована статья "*******". Если набрать этот запрос в ПС Яндекс, то с удивлением можно увидеть, что во-первых, мой сайт не на первом месте по этому запросу, во-вторых, по этому запросу от него показывается совсем другая страница. К слову сказать, на первом месте совершенно странный сайт, который эту статью к себе скопировал. Я конечно понимаю, что Яндекс зеркало Рунета и не намерен учить Яндекс определять кто у кого скопировал статью, но во-первых, мой сайт партнер Яндекс Новостей, и как только на сайте публикуется статья, она в течение 10 минут попадает в индекс ПС. А во-вторых, все статьи добавляемые на сайт (кроме новостей) заносятся через Яндекс Вебмастер в список оригинальных текстов. К сожалению, никакие методы не позволяют помочь Яндексу правильно и достойно отранжировать мой сайт, как первоисточник статей. И такая ситуация наблюдается практически со всеми статьями. Для примера могу привести следующее [..........]. И еще один момент, заметил, что после быстрой индексации, статьи через пару дней из индекса пропадают и появляются через 7-10 дней снова, при этом эти же статьи скопированные другими сайтами из индекса не пропадают. Пожалуйста, помогите разобраться с этой ситуацией. Получил следующий ответ: 1. Поисковая система Яндекс лишь индексирует общедоступную информацию и показывает её по запросам пользователей. Мы ни в коем случае не являемся цензорами сети и не присваиваем авторство той или иной статьи какому-либо сайту. Также мы не выделяем среди сайтов сайты-первоисточники. Результаты поиска формируются с учетом множества факторов, иными словами, с учетом релевантности сайтов запросам пользователей. Пример с запросом ["*******"] передан в поисковый отдел, он поможет нам в работе над алгоритмами ранжирования. 2. Такое возможно из-за специфики работы быстроробота при задержках в обновлении основной поисковой базы. Это не значит, что страница индексируется по новой, то есть информация о времени ее первоначального индексирования закрепляется за документом и не меняется, просто некоторое время она может не показываться в результатах поиска. Через пару недель после проделанной работы, заметил, что fag который меня зазеркалил отвалился из выдачи. Резко уменьшилось число копипастеров через грабберы. Мало кто из них вообще заметил, что я их зафаероллил. Прошло два месяца. Траффик, несмотря на августовский спад, вырос процентов на 20%, новые статьи, если их искать в кавычках всегда выводятся в SERPе теперь первыми. Из автограбберов лишь только news.liveinternet.ru и то потому что я сам туда подписался, в любом случае он берет только заголовок и пару предложений описания статьи. Я не пытаюсь данной статьей доказать кому-то что-либо или дать универсальный рецепт. Кто-то может сделать лучше, кому-то может она показаться полезной. Может это вообще случайное совпадение с одним отдельно взятым сайтом. Рассматривайте этоу статью как информацию к размышлению. Как говорится, comments are welcome!

329

Links Forever

27 августа 2012, 11:11

#61

arkadiy_a:
Робкое предположение: возможно, по какому-то запросу старый сайт схлопотал штрафные а-ля фильтр минус икс позиций?

А может молодым бонус новичка, а может Космос чем-то влияет.

Я очень люблю вкусные рецепты (https://povar24.info) квашеной капусты (https://kvashenaya-kapusta.ru/) и салат оливье (https://salatolive.ru/).

14

Insanity

15 октября 2012, 18:01

#62

Спасибо за полезную статью. К сожалению с такой же проблемой столкнулись. О результатах постараюсь потом отписаться.

Рерайт, копирайт, наполнение сайтов (http://advego.ru/2CnY8vKabC)

329

Links Forever

17 октября 2012, 08:56

#63

Этот метод лучше применять не к старым статьям, а к новым.

Google: E-E-A-T не является фактором ранжирования

Все что нужно знать о DDоS-атаках грамотному менеджеру