Посоны, значит смотрите.
Где-то с 2011 года поисковики стали драться за контент!
Если раньше считалось, что Яша или Гугль должны приводить людей к контенту, то сейчас они считают, что человек всегда ищет товары или услуги, а контент должен принадлежать поисковику. Поэтому Гугль двигает свой опостылевший Youtube, Яндекс - свои видосики и Дзена.
Всякая эта фигня типа поисковых факторов, нейросетей - это максимум можно привязать к товарам, т.к. товары все однотипные, и ранжировать например товары и ранжировать стихи - это разные вещи. Вот поисковики сегодня додумались ранжировать товары по регионам и запросам. Все, на этом нейросеть заканчивается.
Знач, дальше.
Adult - это такой же контент, как и стихи, и если google его выдавливает, значит куда-то давит, может ждет включения Adult на Youtube, а может просто убирает контент из выдачи.
Убирать контент из выдачи - так же легко, как блокировать Телеграмм.
За последние годы из выдачи ушли: блоги, комменты, форумные ветки.
Все блин, приплыли.
Чисто по гуглю - американский сегмент и нашенский в теме контента - это небо и земля. В пиндостане и форумы и блоги, и обсуждения. У нас только Pinterest, Linkedin и магазины с разными дорвеями. Так совпало, что различия между американской выдачей и нашей начались с первыми введениями санкций в отношении РФ. И кстати с каждым новым витком санкций, выдача гугля становится все более бесконтентной.
У меня юристы знакомые говорят - найти ответ по юр.теме стало вообще нереально в гугле. В лучшем случае - выйдешь на старые форумы 3-4 летней давности, причем мы это обсуждали еще в феврале сего года.
Так что кто там затирает порожняк про релевантность и улучшение алгоритмов, про ПФ и прочее - чушь собачья. Сегодня Яндекс ищет лучше гугля, а всякие там странные поиски, с которых 1-2 посетителя в день, они ищут контент лучше чем Яндекс + Гугль вместе взятые.
Это я вам чисто как юзер говорю, не как вебмастер, чисто по своим ощущениям от своих поисков.
Теперь по делу.
Пы.сы. после мартовского апдейта траф с гугля уполовинился. Ссылочную массу резануло с 250к/3k до 200k/1k. Такое ощущение, что РКН забанил гугленоду со ссылками на российские сайты и теперь он считает не всех доноров.
Какие-то темы двигали репостами в соц.сетях. Значит то что "зашло" в топ, то там и осталось. Что не зашло или зашло не в топ, то осыпалось. Прибитые гвоздями к топу позиции не тронуло совсем.
По ПФ
Реально чуть приподнялось то, где работали по ПФ с живых смартфонов, с живых аккаунтов с живых браузеров. Делали A/B тест и работа с ПФ с трубы дала эффект, а работа с ПФ с десктопа или нубука не дала ничего. Софт для накрутки ПФ не юзали.
Из всего этого делается вывод простой.
Тут ноют в основном владельцы контентных сайтов, вообще я от вебмастеров магазинов не видел нытья за последние 20 страниц. У меня такое чувство, посоны, что будет только хуже. Контент у вас рано или поздно отберут, в том числе Adult.
Держитесь там, удач!
Вот я тоже пришел к выводу, что дело в основном сервере. Но у него IP все равно будет общий, т.к. NAT-ом на него кидается любой запрос на 443 и 80 порт. Как его ограничить по доменным именам? То есть, по IP его не остановишь.
Базы ведь бывают разные и для разных задач. 80% в пуле - это общая рекомендация для серверов БД, где БД может быть в 10 раз больше чем объем ОЗУ.
Если размер памяти на серваке больше размера базы, то лучше выделить под пул полностью размер этой базы, как тут и посоветовали. Все равно там куча оптимизаций и очисток идет, и база сама знает, что хранить в буферном пуле, а что нет.
Наружний - да, внутренний - нет конечно.
NAT ведет все 80-е порты на первый сервер независимо от доменного имени, а тот и отвечает на них, выводя сайт.
Вот хочу сделать, чтобы он отвечал только на свое доменное имя.
Modpagespeeddisablefilters rewrite_images
Modpagespeeddisablefilters resize_images
Ну в общем объясняю.
1) Никто не банит ботов поисковиков.
2) Есть урлы типа site.com/tovar.php?id=12345
Вот как правило, 99% CMS выдадут ту же страницу при запросе site.com/tovar.php?id=12345?page=2?vibory_2018=1
И это будет дублем, а отсеивать параметры, которые генерятся на лету очень непросто - либо надо чтобы CMS проверяла сама корректность параметра, либо думать, что делать.
Но допустим поисковики умеют отличать недубли от дублей с помощью canonical и внутренних ссылок на сайте.
Возникает следующий вопрос - зачем неизвестным ботам ходить по сайту, посещая одни и те же страницы?
Это не парсеры, т.к. парсеры идут по ссылкам от и до.
Это либо какие-то пингаторы, которые отслеживают изменения на страницах, либо что-то для SEO.
Логика подсказывает, что все что ты не заказывал на сайт - это либо чья-то реклама либо чье-то SEO.
Потом метрика показывает, что не всегда она отличает робота от человека, а значит хиты ботов учитываются для пресловутых поведенческих факторов.
И хочется спросить себя - эти роботы пришли, чтобы улучшить ПФ? Скорее всего нет.
Они могут ухудшить ПФ? Скорее всего да.
Кроме того, роботы очень сильно грузят интернет-канал, и это становится заметно на дальних хопах, если они работают территориально не возле твоего сервера, то грузят канал вот там, где сидит пользователь. Если роботы с Дальнего Востока шарят по твоему сайту, они скорее всего грузят канал до твоего сайта от Москвы до Магадана. И если у тебя на порту 100 мегабит пустые, то вот там уже 100 мегабит загруженные, и очереди, QoS и прочее прочее.
Нагрузку на базу данных и PHP я не беру, т.к. это все облегчается кэшированием, и вообще не суть вопроса.
И я уже писал, что очень существенно блокировка ботов влияет на скорость загрузки страниц у живых пользователей, у тех, кто сидит через 3G, на окраинах нашей необъятной родины и в других странах. У кого грузится медленно - становится быстрее. У кого быстро, на тех не влияет.
Кармически постоянно себя спрашиваю - вот люди старались, преследовали какую-то цель, хостинг покупали и роботов к нам присылали, а я их в баню. Правильно ли это? Думаю что да.
У меня основная идея такая, что если несколько IP с роботами принадлежат одному хостинг-провайдеру, то я блокирую весь пул хостинг-провайдера, считая что люди живые там не сидят.
Там есть такая фишка - боты Яндекса например заходят под людскими User-agent чтобы проверить что всем выдается один и тот же контент. Заходят они с каких-то левых постоянно меняющихся IP-адресов. Так что защита, предложенная вами, может их отсекать.
