Боты

123
suffix
На сайте с 26.08.2010
Offline
337
#11
admin888 :

На сайте очень большое количество ботов.

Много это сколько ?

Вот мне на сервер на днях прилетело (это ещё не самый пик заскринил):

Много ботов

Клуб любителей хрюш (https://www.babai.ru)
Л1
На сайте с 27.12.2016
Offline
173
#12
Виктор Петров #:

Это может быть интересно только поисковым ботам и некоторым парсерам. Гуглобот обожает пастись в папке шаблонов. А если там какие-нибудь кривые плагины торчат (кэширования особенно) - он там просто поселиться может.
Тут надо проблемы на уровне шаблона выявлять, а не на ботов святой водой прыскать в ужосе

у меня сайт вроде без косяков но вот в кэше гуглбот живет, в папке /cash/ каждый день, стоит ли ее закрыть в роботс? 

Виктор Петров
На сайте с 05.01.2020
Offline
240
#13
SeVlad #:
Где ты только берёшь эту гадость инфу? Послушай добрый совет - забудь дорогу к этому дилеру.

Ну ты же понял, о чём речь. Ясно-понятно, что плагины лежат в своей папке, и "там" - это не "там", а "вон где".
И да, я за легалайз.

леонид1161 #:
у меня сайт вроде без косяков но вот в кэше гуглбот живет, в папке /cash/ каждый день, стоит ли ее закрыть в роботс? 

Я бы не стал. Если, конечно, он весь краулинговый бюджет на кэша не тратит и в индекс обновления по сайту заходят быстро.

SeVlad
На сайте с 03.11.2008
Offline
1609
#14
Виктор Петров #:
Ну ты же понял, о чём речь.

Причём тут я? Ты написал полнейшую хрень, доступную для всех. И не только что выделено, а всё что процитировано.

И да, это всё что я понял.

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
Виктор Петров
На сайте с 05.01.2020
Offline
240
#15
SeVlad #:
Причём тут я? Ты написал полнейшую хрень, доступную для всех. И не только что выделено, а всё что процитировано.

Ты всегда считаешь хренью всё, что не понял? Я уже не говорю о прелестной привычке выделять слова, чисто как вот в школьной тетрадке.
Классе в третьем мне за сочинение как-то влепили трояк - за слово "презинджантроп". Учительница не знала такого слова и решила, что это какая-то сплошная чудовищная ошибка.
По сабжу. Если бы ты всерьёз занимался техническим SEO, ты бы наверняка столкнулся пару раз с "ловушками для ботов". Их несколько типов, и встречаются они на удивление часто.

SeVlad
На сайте с 03.11.2008
Offline
1609
#16
Виктор Петров #:
Ты всегда считаешь хренью всё, что не понял?
Я считаю херенью только хрень. Хрень, написанная не разбирающимися в предмете. Еще печальнее то, что пишущие хрень спорят с теми, кто разбирается. Акцентирую: спорят (а так же переводят стрелки на др. предметы своей фантазии, а то и пытаются оскорбить), но не разобраться.
Виктор Петров
На сайте с 05.01.2020
Offline
240
#17
SeVlad #:
Я считаю херенью только хрень. Хрень, написанная не разбирающимися в предмете. Еще печальнее то, что пишущие хрень спорят с теми, кто разбирается. Акцентирую: спорят (а так же переводят стрелки на др. предметы, а то пытаются оскорбить), но не разобраться.

Удивительно точно. Ты объявляешь что-то хренью и обвиняешь в наркомании - но не предлагаешь ни аргументов, ни фактов, и сложно понять вообще, что именно тебя так смутило.
Конкретика-то есть?

T
На сайте с 08.05.2021
Offline
3
#18
fliger #:

Смотрите IP бота, определяете сеть. Если хостер, блокируете всю сеть.

Смотрите User Agent бота. Если не тот, кто вам нужен на сайте, блокируете.

ты думаешь это как то поможет?
SeVlad
На сайте с 03.11.2008
Offline
1609
#19
Виктор Петров #:
Ты объявляешь что-то хренью и обвиняешь в наркомании - но не предлагаешь ни аргументов, ни фактов, и сложно понять вообще, что именно тебя так смутило.
Конкретика-то есть?

ОК. Для неграмотных тезисно поясняю.

1. Плагинов не может быть в папках каталогах темы ( темы, а не шаблонов. Но эту безграмотность в данном случае можно опустить).

2. Кривость плагинов никак не связана  с "поселением" гугла. Вот вообще никак (если только из-за него не возникает запрет на индексацию, но этот случай противоречит твоему "поселится"). И ты в принципе не понимаешь что такое "кривой" плагин.

3. Ты знаешь предмета "кеширование" и отсюда непонимание почему боты ПС сканируют именно кеш (какой именно кеш - отдельный вопрос, но это тоже можно опустить в данном случае).  Ещё и какая-то каша с "кеширование+кривость плагинов".
А ведь тут всё просто, если совсем чуть-чуть подумать - ведь именно страничный кеш и отдаётся и юзерам и ПСам.

4. Ты как сеошник, должен знать, что ботам ПС должны быть доступны все стили и картинки сайта (и твой сарказм в #5 я оценил). Но так же обязан знать о заголовках типа expires. Твоё "бот поселится в теме/плагинах" говорит о том, что ты этого не знаешь.

5. Ты опять нафантазировал:  сам что-то придумал про проблемы, что эти проблемы в теме, и самый ахтунг - предложил пути решения. При этом не зная ни реальной проблемы ни движка ни др. технических вопросов.

Виктор Петров
На сайте с 05.01.2020
Offline
240
#20
SeVlad #:
Кривость плагинов никак не связана  с "поселением" гугла. Вот вообще никак (если только из-за него не возникает запрет на индексацию, но этот случай противоречит твоему "поселится"). И ты в принципе не понимаешь что такое "кривой" плагин.

Не буду спорить. Просто только за последний год именно на этой теме мне удалось получить некислый такой рост в Гугле у нескольких сайтов на WP, просто обнаружив и устранив вот такую проблему. Мне платят за результаты, а не за теоретизирование.

SeVlad #:
непонимание почему боты ПС сканируют именно кеш

Я упоминал сканирование кэша? Читай внимательно, я упоминал именно плагины.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий