google приходит по HTTP/1.1 как и яндекс, ни разу в логах не видел, чтобы нормальные боты ПС по HTTP/1.0 приходили... А я понял, почему Вы так думаете, у Вас не настроена защита от поддельных ботов ПС
Так у него сайт не говорит какой протокол желателен, вот они по HTTP/1.0 и идут. На моём сайте желательный протол чем выше тем лучше (HSTS настроен), поэтому боты начинают подключатся по HTTP/2
Так банить всех по HTTP/1.0 или редиректить то нормальных пользователей перебанить. 😁
Кароче там сайт - гроб. 😀 У меня TSL 1.3 минимум на сайте и боты его используют.
Уровень представления понятен. Вы про самописы слышали? Про авторские агрегаторы, сервисы сравнения, тематические соц. сети с глубокой структурной и информационной проработки коммьюнити - в курсе?
Откройте такие сайты как cian.ru. Ни в одной коробочной версии движка решений в подобной детализации не существует. Это большая проектная работа. Заодно посмотрите как реализована иерархическая вложенность структуры H заголовков.
На этом мой интерес к данной ветке исчерпан.
Это всё доводки для требований поисковых систем.
А cian.ru это zendesk или tilda т.е. это не самопис а тыренный движок с которого попробовали все опознаватели удалить.
Надо знать хорошие детекторы CMS, вот сказочки как оборачиваются...
🤣
1. Вопрос на засыпку: боты по прямым ссылкам заходят или с GET параметрами в URL ?
Непонял вопроса. Все боты GET c HTTP/2 😀 а поисковики GET HTTP/1.1
Не будут. Поситителей только больше и отказов больше.
Я уже подумывал может открыть но сколько смотрел, у меня у ботов поддельные переходы с поиска яндекс а это плохо...
Т.е. у кликов нету соотношения с кликами в яндекс вебмастере.
Опять 25, вы откуда движки сайтов берёте? Нормальный движок сейчас полностью имеет и выполняет все требования которые предъявляют поисковики.
Непонятно что вы хотите доделывать? Заголовки переставите? Всё индексируется с sitemap или RSS.
Что вы доделываете? Основные требования поисковиков к вебсайтам доделываете? Смешно...
В исключение свой сайт забыл добавить т.к. если переход на твоём сайте рефер твоего сайта вписывается.
and not http.referer contains "твой сайт"
Не актуальны сейчас никакие белые Seo факторы. Контент вытягивайте.
Ещё найти и посадить ботоводов нужно!
Как прозвучит поймана преступная группа - сразу найду где судяться и пошлю документы с иском морального и материального вреда. 😀
Думаю 5000$ иск будет за испорченный сайт и траты, потому как очень страдаю и не воссполнимый моральный ущерб и денежный не малый. 😁
Этот крендель тут недавно на картинке показывал кейс как раз по твоей проблеме.
Моментально отсек мильон ботов из Яндекса.
Попроси, может кейс в личку спалит 😂
Не, я почитал разговоры.. Технический специалист у которого всё расписано 10 летней давностью, только непонятно зачем человеку Seo.
