Антоний Казанский

Фактические вышеуказанным кодом вы блокируете любые заходы, которые в юзер агенте содержат следующие записи:

следовательно, если мы возьмём программу Screaming Frog и выставим там что-то из указанного, то сервер должен нас заблокировать (так как раз можно проверить, насколько это рабочая конструкция работает).

Теперь переходим к ответу на поставленный вопрос - нет, боты Яндекса и Гугла не используют ничего из представленного в перечне, поэтому блокировать не должно.

Они могут менять User-Agent и наверняка это делают, чтобы как раз не нарываться на явный запрет.

Robots.txt не решает данные задачи, роботс актуален для управления областями индексирования основными ПС.

Вопрос в том, какую конкретно задачу вы решаете.

Избавить сайт от всех ботов вы всё равно не сможете, часть из них будет игнорировать правило User-agent: *, Disallow: /

Вы конечно можете взять известный перечень имён поисковых ботов, например, здесь и запретить их через User-agent, но никакой особой погоды это для вас не сделает.

На позиции запросов, связанных с названием сайта - да, влияет. 

Это актуально для сайтов/проектов, где большой объём брендовых запросов, например крупные СМИ.

Если же мы говорим о каком-то неизвестном статейнике, который собирает трафик благодаря тестовой составляющей, то лучше использовать зону Title-а для более приоритетных запросов в контексте выбранной страницы.

Думаю, затык только в том, что кому-то сложно принять существование отдельных специализаций.

Примерно тоже самое можно сказать, что нет никаких сеошников, контекстологов, smm-щиков - есть только вебмастера с готовностью применить те или иные навыки. 

Я же довольно демократично к этому отношусь, принимая даже более узкие специализации, такие как авитологи, зенноводы, специалист по e-mail рассылкам.

Знаю людей, которые уже несколько лет занимаются и зарабатывают только этим, выпуская при этом курсы и обучающие материалы.

Устраивать горячие споры и непримиримые дебаты, на мой взгляд, пустое занятие :)

Используйте данные Вебмастера.

Потому что в robots.txt указываются инструкции для поисковых роботов.

К паразитному бот трафику (если именно он вам беспокоит) этот служебный файл не имеет никакого отношения.

Формально в директиве  User-agent вы можете запретить индексацию любым поисковым роботам, но:

а) только поисковым

б) это лишь рекомендация, которая может быть поисковым ботом проигнорирована

Два момента.

Специалист по контекстной рекламе тоже занимается проработкой семантического ядра и поисковой аналитикой, но его не называют сеошником, потому что это другая специфика. Также и здесь. Cеошник не занимается продвижением на маркетплейсах, сеошник занимается продвижением сайта в поисковых системах.

Второй момент - успешная работа там, где интересы работодателя и работника в большей степени удовлетворены, поэтому люди конечно бывают разные, и брать они могут на себя разные функции, но формально, вы называете одного специалиста, а в содержании работы указываете другую специфику, поэтому я и захотел вам помочь советом.

В остальном, конечно, поступайте так, как считаете нужным, успехов! 

Я думаю не столь принципиален спор - есть ли самостоятельные профессии, сколько очевидно, что задачи разработки и анализа данных по этим направлениям точно есть. 

Не понял, кого конкретно программистов-блогеров или коллег - программистов? :)

Ну это смотря какие.

На Javascipt-е сейчас пришёл очень много от web приложений до систем управления УД.

Да про многое приходится говорить, раз заходит тема :)