А "правильная" - это какая?
При любом количестве полного или неполного копипаста, Существует ТОП1 с этим контентом - какие проблемы занять его, не переписывая контент?
PS причем вы в своем же посте, частично описали как это делать😂
Тоже полезли. Это парсеры сайты вставляют публикацию у себя. Хотя там прописан каноникал на оригинал но яндексу пофиг. Запретил в роботс вообщем
Мне что в robots.txt запретить robots.txt ?🤣
Запретить txt файлыЕще нужно запретить к индексации файлы 404.php и тд. Находит и индексирует моментально. Публикуемые статьи минимум 2 дня
PS Удалось вычистить все лишнее месяца за три, только 301 и 404 ( не надеясь на роботс и каноникал )
Сейчас начал проверять статьи из них половина уже не актуальные (проверял по WordStat). На форуме читал, что желательно чистить сайт от статей которые не дают трафик (старый материал). Что вы думаете по поводу этого?
В переводе direct - прямой
Какую защиту посоветуете от парсинга ботами?
Самые стандартные, поиском в яндексе найдете. Но, совет нулевой практически, ничего не даст. Ставится для успокоения души😂
Как пишет Петров - "контент должен быть уникален...", но выводы делает неправильные, так как исходит из неправильного определения "уникальности". Подправить контент надо ( в одном из своих постов ОН же писал как ), но не переписывать весь контент.Если есть желание пиши в ЛС
а пока известные мне настоящие сеошники предпочитают вообще банить траф с толоки по рефереру, выдавая сообщение и код 403 и ничего плохого после этого не случается.
Зачем банят, чего то боятся? Можно "ботовую часть" с толоки забанить, а живого человека пропустить на сайтРефер при этом нафиг не нужен, для определения толокера😂
А толокеры то при чем?
Их используют для обучения нейросети, не для оценки сайтов.
даже если толокер увидит он поймет что это от ботов а н едругой контент
Если ему обьяснят😂, что естественно никто делать не будетИ разбираться он тоже не будет, у него времени нет. И в голове ествественно не про другой контент - а сайт не работает
