ViolettaFair, ну дык, кто-ж вам все сливки-то тут рассказывать будет, как, да что, делать :)
Головой думать нужно и тестировать сначала, потом придет опыт, что и как собирать.
hakuna matata, тебе же сказали - вешаешь никому неизвестную страницу на домен, в аке гугла или другом сервисе её указываешь при добавлении - висишь на модерации (только бот или модер знают этот адрес) берешь логи этой страницы, сохраняешь и сразу используешь на всех своих ресах.---------- Добавлено 22.04.2019 в 10:29 ----------
Это один из сервисов гугла оттуда заходит - и не важно бот это, или модер - ваш сайт-то все-равно в опу уходит после этого захода.
ViolettaFair, да замена букфф уже стара как мир, и те, кто у вас так тащат - поверьте на слово мне, не нанесут ущерб вашему сайту, даже если вы им будете свои родные отдавать тексты.
Именно боты, которые тащат ваш контент, вам и сделают козу на лисапете с текстами.
А что оно вам даст?
Идентифицировать то его никак нельзя, кроме своей изолированной страницы.
190.8.111.66 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"
ViolettaFair, конечно не анонимные, но никаких слов бот и гугл там не будет :)
Только шум поднять на форуме вм гугла, иногда смотрят они его, может поможет.
ТС, вы ей богу, как только что родились на свет.
Обычные клоачные доры вам ссылок докидывают, вот и делов то всех. Если бот приходит, то ему отдается по ключу найденная в поиске страница (ваша страница и ссылки на вас понятное дело есть на этой странице, потому что она с вашего сайта взята).
Если это не бот, то идет редирект на что-то, на чем дор зарабатывает.
Гугл когда спалит доры эти, все ссылки обнулит на вас, все вернется, а в текущей ситуации вы ничего не сможете сделать, так как это мастера работают, и там отлично траф и индекс идет, и ссылки ваши учитываются и ваш сайт садиться от этого (но дождитесь вылета доров и всё вернется).
Нет, консоль просто отражает с задержкой позиции по определенному кластеру (без регионов), так, что карусель там тоже видна, и даже лучше, чем просто смотреть серп - достаточно пару позиций глянуть топовых за последнее число, если их нет, значит каруселят вас.
ViolettaFair, э нет, может раньше они и не обращали на это внимание, но буквально за последние 7-9 месяцев, прирост пула новых источников ботов у них вырос в разы просто (бурж, у яши более стабильно, но тоже большой прирост).
Так, что собирать придется теперь всегда без остановки и сразу использовать, без какой либо обработки, в live режиме так сказать. Страницу свежую изолированную запулил, наловил на неё входы и данные этих входов уже юзаются автоматом во всех ваших проектах, а иначе смысла нет.
Тут единственный вменяемый человек это что-ли?
Т.С. Как вы бота выловите? Вот отправила инста вам запрос с УА последнего файерфокса, с куками, поддержкой скриптов и всего остального - как вы его обнаружите, вот головой подумайте просто.
Нулевые домены, спрятанные от всех, только что открытые и ссылки с левых аков инсты (и всех прочих сервисов) на эти домены как раз и помогут вам отловить: а. ботов, б. админов сервисов особо мешающих вам жить и т.д.
Ловить их нужно без остановки, так, как пул адресов у них тоже внушительный, могут себе позволить, и меняется постоянно, и вы должны ловить их без остановки постоянно.
