Боты

1 23
SeVlad
На сайте с 03.11.2008
Offline
1609
#21
Виктор Петров #:
просто обнаружив и устранив вот такую проблему.

Какую "проблему"?

Виктор Петров #:
Я упоминал сканирование кэша? Читай внимательно, я упоминал именно плагины.

Ты забываешь что писал? Я напомню:

Виктор Петров #:
А если там какие-нибудь кривые плагины торчат (кэширования особенно) - он там просто поселиться может.
Или как понимать твоё "поселиться в кривых плагинах кеширования"? (что опять же безграмотный бред: сам кеш не находится в плагинах.)
Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
Виктор Петров
На сайте с 05.01.2020
Offline
240
#22
SeVlad #:
Или как понимать твоё "поселиться в кривых плагинах кеширования"? (что опять же безграмотный бред: сам кеш не находится в плагинах.)

Давай я тебе намекну более прозрачно: некоторые плагины кэширования генерируют бесконечное количество версий картинок, css и js. Как подорванные. В силу архитектуры Яше это пополам. А вот Гоше - нет, он способен сдохнуть, сканируя все эти версии. 

SeVlad
На сайте с 03.11.2008
Offline
1609
#23
Виктор Петров #:

Давай я тебе намекну более прозрачно: некоторые плагины кэширования генерируют бесконечное количество версий картинок, css и js. Как подорванные.

Вот это номер...  И какие это плагины?
И что значит "версии" в твоём понимании? В чем их отличие?

И не увиливай от вопроса:

SeVlad #:
Какую "проблему"?
Виктор Петров
На сайте с 05.01.2020
Offline
240
#24
SeVlad #:
И не увиливай от вопроса:

а) Ты либо не понимаешь, о чём я говорю, либо делаешь вид, что не понимаешь. Повторю: речь о ловушках для краулеров. Они получаются чаще всего в результате кривых плагинов кэширования, кольцевых редиректов, проблем с куками и session id и много чем ещё. 
б) Почитай о краулинговом бюджете (он же - лимит сканирования). У гуглобота он достаточно жёсткий. Если сайт гоняет гуглобота по кольцу или предоставляет тонны постоянно обновляемых и генерируемых URL, которые гуглобот считает необходимым просканировать - у него просто не остаётся ресурсов на те URL, которые ему действительно надо бы просканировать.
Надеюсь, я выразился понятно.

SeVlad
На сайте с 03.11.2008
Offline
1609
#25
Виктор Петров #:
Ты либо не понимаешь, о чём я говорю, либо делаешь вид, что не понимаешь. Повторю: речь о ловушках для краулеров.

Ты опять пытаешься перевести стрелки, нагородив псевдоумных слов (а по сути - фигни, не имеющей отношения ни к заданным вопросам, ни к топику)  и уйти от ответов.

Повторяю:

1. Какая конкретно была  проблема? Что (как) именно ты устранил?

2. какие плагины кешироввания " генерируют бесконечное количество версий картинок, css и js. Как подорванные." И что значит "версии" в твоём понимании? В чем их отличие?

Виктор Петров
На сайте с 05.01.2020
Offline
240
#26
SeVlad #:
1. Какая была проблема? Что ты устранил?

Бгг. Crawler Trap. В ряде случаев достаточно внести правки в настройки плагина. В ряде - просто снести плагин и использовать другой.

SeVlad #:
2. какие плагины кешироввания " генерируют бесконечное количество версий картинок, css и js. Как подорванные."

Я не веду списков, я провожу аудиты и обнаруживаю проблему. Ты же не думаешь, что фактически любой плагин может в одной из версий не начать косячить, но это будет исправлено в ближайшем апдейте?

SeVlad #:
И что значит "версии" в твоём понимании? В чем их отличие?

*.css?v=sdfks83776asjdjahqweqwe123qweqwe
Так понятнее?

alaev
На сайте с 18.11.2010
Offline
745
#27
SeVlad #:
Да, я не могу обосновать твой бред о плодящихся параметрах в урлах и пр. Это всё ты придумал, а меня заставляешь аргументировать.. И не первый раз, заметь.

Все он правильно говорит. Плагины кеширования рождают различную дичь в урлах.

Плюс боты ходят по урлам, которые сами каким-то образом создают. Например, такой урл:

https://d.searchengines.guru/i/not-found_2x.png?565

Только боты будут ковырять сайт на предмет поиска любых урл, в любых папках.

И защитить сайт от нагрузки и возможного попадания в индекс обычным php-скриптом не получится.

Либо cloud flare, либо рубить их в htaccess.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
Виктор Петров
На сайте с 05.01.2020
Offline
240
#28
SeVlad #:
Да, я не могу обосновать твой бред о плодящихся параметрах в урлах и пр. Это всё ты придумал

Начерта мне придумывать-то? Есть проблема, есть устоявшееся название этой проблемы. Зайди в Гугл, вбей crawler trap, или googlebot trap - тема в бурже обмусолена плотно. Тема реальна, если ты с этим не сталкивался - ну, бывает.

SeVlad #:
"Я не веду списки плагинов, генерирующих версии файлов" - это аргумент на вопрос "какие плагины это делают"?

А что не так? Я порыл логи, я диагностировал аномалию, я нашёл проблемный плагин. Заменил или изменил настройки. Что не так, если я не стал запоминать его название? Мне оно вообще зачем? Меня интересует решение проблемы, а не занесение какой-то балалайки в список стрёмных.

Антоний Казанский
На сайте с 12.04.2007
Offline
665
#29
SeVlad #:
Вот это номер...  И какие это плагины?

Например, Speed cache


alaev #:

Все он правильно говорит. Плагины кеширования рождают различную дичь в урлах.

Плюс боты ходят по урлам, которые сами каким-то образом создают. Например, такой урл:

https://d.searchengines.guru/i/not-found_2x.png?565

Совершенно верно.


Виктор Петров #:
Начерта мне придумывать-то? Есть проблема, есть устоявшееся название этой проблемы. Зайди в Гугл, вбей crawler trap, или googlebot trap - тема в бурже обмусолена плотно. Тема реальна, если ты с этим не сталкивался - ну, бывает.

Виктор, не тратьтесь, кто знает, тот уже давно понял, о чём речь. Всё вы правильно говорите.


Виктор Петров #:
Я порыл логи, я диагностировал аномалию, я нашёл проблемный плагин. Заменил или изменил настройки.

Лучше подробнее расскажите про конкретный рабочий эпизод. В чём выражалась аномалия, в каких признаках?

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Научим создавать: боты, парсеры, работать с профилями для ПФ, присоединяйтесь -> https://goo.su/LrCGj
SeVlad
На сайте с 03.11.2008
Offline
1609
#30

Казалось бы - причём тут ВП..

Антоний Казанский #:
Лучше подробнее расскажите про конкретный рабочий эпизод. В чём выражалась аномалия, в каких признаках?

Прошо больше недели. Рассказал?

Я три раза спрашивал о том же. И знаешь что получил?  бан на неделю и удаление постов типа за флуд. Угробили форум...

Так что нуегонафик, что-то объяснять "правильным" рассказчикам своих фантазий.

Боты - Общие вопросы оптимизации - Практические вопросы оптимизации - Форум об интернет-маркетинге
Боты - Общие вопросы оптимизации - Практические вопросы оптимизации - Форум об интернет-маркетинге
  • 2021.06.25
  • searchengines.guru
Подскажите, пожалуйста. На сайте очень большое количество ботов. Они просматривают такие страницы, как /favicon.ico /wp-content/themes/omega/style...
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий