Тоже полезли. Это парсеры сайты вставляют публикацию у себя. Хотя там прописан каноникал на оригинал но яндексу пофиг. Запретил в роботс вообщем
Мне что в robots.txt запретить robots.txt ?🤣
Запретить txt файлыЕще нужно запретить к индексации файлы 404.php и тд. Находит и индексирует моментально. Публикуемые статьи минимум 2 дня
PS Удалось вычистить все лишнее месяца за три, только 301 и 404 ( не надеясь на роботс и каноникал )
Сейчас начал проверять статьи из них половина уже не актуальные (проверял по WordStat). На форуме читал, что желательно чистить сайт от статей которые не дают трафик (старый материал). Что вы думаете по поводу этого?
В переводе direct - прямой
Какую защиту посоветуете от парсинга ботами?
Самые стандартные, поиском в яндексе найдете. Но, совет нулевой практически, ничего не даст. Ставится для успокоения души😂
Как пишет Петров - "контент должен быть уникален...", но выводы делает неправильные, так как исходит из неправильного определения "уникальности". Подправить контент надо ( в одном из своих постов ОН же писал как ), но не переписывать весь контент.Если есть желание пиши в ЛС
а пока известные мне настоящие сеошники предпочитают вообще банить траф с толоки по рефереру, выдавая сообщение и код 403 и ничего плохого после этого не случается.
Зачем банят, чего то боятся? Можно "ботовую часть" с толоки забанить, а живого человека пропустить на сайтРефер при этом нафиг не нужен, для определения толокера😂
А толокеры то при чем?
Их используют для обучения нейросети, не для оценки сайтов.
даже если толокер увидит он поймет что это от ботов а н едругой контент
Если ему обьяснят😂, что естественно никто делать не будетИ разбираться он тоже не будет, у него времени нет. И в голове ествественно не про другой контент - а сайт не работает
Еще раз расшифрую: отдается ответ 200, страница-заглушка при этом весит меньше, чем далее загрудаемая страница, и Яндекс видит, что вы подменяете пользователю контент.
Фокси прав, яндекс в этом случае не видитТолокер видит
