Romanov Roman

Romanov Roman
Рейтинг
215
Регистрация
21.06.2018
Антоний Казанский #:

Конечно, он же указан 

всё что указано, будет баниться по фактическому текстовому совпадению.

Отсюда следует, что если написание будет различаться, совпадения не будет; следовательно, попадать под правило не будет.

Решил сократить список, приведя его к следующему виду.
Надеюсь, что перечислил самых распространённых ботов, часто сканирующих сайт.

https://habr.com/ru/companies/first/articles/704350/comments/#comment_25003880

# блокировка плохих ботов
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|SemrushBot|PetalBot|MJ12bot|Detectify|dotbot|Riddler|LinkpadBot|BLEXBot|FlipboardProxy|aiHitBot|trovitBot|BUbiNG|MauiBot) [NC]
RewriteRule .* - [F]
Shelton724 #:
Уберите из своего списка bingbot - и не будет заблокирован.

Уже убрал...

Shelton724 #:
Ибо 50% из того, что в списке, вероятнее всего, никогда не были у Вас на сайте и не будут, а вот то, что в списке не указано, будет продолжать шариться по сайту.

Если Вас не затруднит, не могли бы Вы перечислить боты, которых необходимо оставить в списке?

Заранее Вам благодарен!

Антоний Казанский #:
Значит работает. Теперь принудительно подставьте имена ботов ПС для доп. проверки.

Bing Bot 2.0 отдаёт 403 Forbidden.

Получается, что бот ПС Бинга будет заблокирован...

Антоний Казанский #:
Теперь переходим к ответу на поставленный вопрос - нет, боты Яндекса и Гугла не используют ничего из представленного в перечне, поэтому блокировать не должно.

Только что проверил корректность работы директивы, эмулировав действия одного из ботов, перечисленного в перечне.
https://www.wannabrowser.net/


Антоний Казанский #:
Теперь переходим к ответу на поставленный вопрос - нет, боты Яндекса и Гугла не используют ничего из представленного в перечне, поэтому блокировать не должно.

Искренняя Вам благодарность, Антоний!
Если я правильно Вас понял, директиву для блокировки ботов можно использовать...

Позвольте задать уточняющий вопрос.
Если я блокирую ботов в файле .htaccess директорией, представленной ниже, существует дли вероятность того, что я ограничу доступ роботам Гугла и Яндекса?

# блокировка плохих ботов
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} (SeopultContentAnalyzer|SeekportBot|DataForSeoBot|Barkrowler|BLEXBot|SemrushBot|MJ12bot|AhrefsBot|bingbot|DotBot|PetalBot|LinkpadBot|SputnikBot|statdom.ru|MegaIndex.ru|WebDataStats|Jooblebot|Baiduspider|BackupLand|NetcraftSurveyAgent|openstat.ru|thesis-research-bot|fidget-spinner-bot) [NC]
RewriteRule .* - [F]
Dambo #:
Попробуйте ставить после 3 абзаца. Я тоже делал эксперименты и оказалось, что по крупному блоку неплохо как кликают, так и смотрят именно в таком месте. Не под заголовком, не в середине статьи, а примерно после 3-4 абзаца.

У меня почти все анонсы достаточно длинные. Они состоят из 4-х абзацев.
Я поступаю именно так, как Вы советуете!

Роман Кузьминский #:
Как уже отметил, на доходность блока может влиять его расположение и настройки. Поэтому рекомендую проводить эксперименты и определять оптимальное место размещения и настройки блоков на странице в ходе теста. Подробнее про эксперименты тут.

Роман, спасибо Вам за поддержку!

Вот, смотрите, что получается. Понимаю, что формат контента бывает разным. 
У меня 2 информационных ресурса. Недлинные публикации, призванные коротко, но чётко отвечать на вопрос в заголовке.

1. Если я, как советует РСЯ, не буду ограничивать размеры рекламного блока, то его проблематично будет транслировать сразу после заголовка - в области, характеризуемой достаточно большим процентом засчитанных показов.
Если я ограничу ширину или высоту, то количество кликов и CPMV заметно снижаются.
Проверено не единожды.

2. На мой взгляд, самая конверсионная область сайта - сразу после окончания статьи. Вроде бы идеальное решение, но у него есть два существенных недостатка.

* Количество засчитанных показов, на фоне увеличения CPMV, значительно снижается вместе с доходом.

* Реклама загораживает блок "Материалы по теме". Как результат, снижается пользовательская вовлечённость.

Что остаётся?
Сайдбар. Идеальное решение для десктопного трафика, но его не более 20 %.
На смартфонах до сайдбара почти никто не добирается.

И какой выход? В моём случае, единственный.

3. Размещение рекламы после анонса (тега more) WordPress, то есть после вводной части публикации, перед основным содержимым статьи.

И реклама успевает загрузиться, и блок перелинковки рекламой не перекрывается.

4. Подключение фулл-скрина считаю агрессивной монетизацией.

Вот и все эксперименты. Выше одного блока с одним объявлением "не прыгнешь" - при условии, что сайт создан для людей.

Dambo #:
Нет не задаю, ставлю на адаптивный везде. У меня особо большие не выходят, в том числе на мобильной версии. 

Спасибо огромное!

У меня на мобильной версии часто транслируются громадной величины баннеры, поскольку я также не устанавливаю никаких ограничений.
Баннеры 240*400 и 300*600 очень сильно замедляют загрузку страницы.

Попробую поставить адаптивный с ограничениями в 300px высоты.

Всего: 1935