Будет, тем более, что в части примеров вы явно указываете название Angry Birds, в другой части - нет.
Если вариант Title -> Название сайта "Игры скачать бесплатно" подходит больше для Главной странице, то
вариант -> Игра Angry Birds скачать, очевидно, уже отдельная внутренняя страница.
Формально - это разные страницы, поэтому сам по себе вышеуказанный пример некорректен.
Расчёт весов зависит и от использовании запроса в Title по классике BM25/F и от слово позиции к началу.
Только что проверил корректность работы директивы, эмулировав действия одного из ботов, перечисленного в перечне.https://www.wannabrowser.net/
Значит работает. Теперь принудительно подставьте имена ботов ПС для доп. проверки.
Всегда пожалуйста 😉
ПС явно себя указывают. С примерами имён ботов, например, Яндекса можно ознакомиться здесь.
Фактические вышеуказанным кодом вы блокируете любые заходы, которые в юзер агенте содержат следующие записи:
следовательно, если мы возьмём программу Screaming Frog и выставим там что-то из указанного, то сервер должен нас заблокировать (так как раз можно проверить, насколько это рабочая конструкция работает).
Теперь переходим к ответу на поставленный вопрос - нет, боты Яндекса и Гугла не используют ничего из представленного в перечне, поэтому блокировать не должно.
Они могут менять User-Agent и наверняка это делают, чтобы как раз не нарываться на явный запрет.
Robots.txt не решает данные задачи, роботс актуален для управления областями индексирования основными ПС.
Вопрос в том, какую конкретно задачу вы решаете.
Избавить сайт от всех ботов вы всё равно не сможете, часть из них будет игнорировать правило User-agent: *, Disallow: /
Вы конечно можете взять известный перечень имён поисковых ботов, например, здесь и запретить их через User-agent, но никакой особой погоды это для вас не сделает.
Влияет ли название сайта в заголовке статьи на позиции?
Пример заголовка:
title статьи - Название сайта
или без заголовка:
title статьи
На позиции запросов, связанных с названием сайта - да, влияет.
Это актуально для сайтов/проектов, где большой объём брендовых запросов, например крупные СМИ.
Если же мы говорим о каком-то неизвестном статейнике, который собирает трафик благодаря тестовой составляющей, то лучше использовать зону Title-а для более приоритетных запросов в контексте выбранной страницы.
Думаю, затык только в том, что кому-то сложно принять существование отдельных специализаций.
Примерно тоже самое можно сказать, что нет никаких сеошников, контекстологов, smm-щиков - есть только вебмастера с готовностью применить те или иные навыки.
Я же довольно демократично к этому отношусь, принимая даже более узкие специализации, такие как авитологи, зенноводы, специалист по e-mail рассылкам.
Знаю людей, которые уже несколько лет занимаются и зарабатывают только этим, выпуская при этом курсы и обучающие материалы.
Устраивать горячие споры и непримиримые дебаты, на мой взгляд, пустое занятие :)
Используйте данные Вебмастера.
А почему бы не запретить всех роботов, кроме Яндекса и Гугла в robots.txt? Какой в этом минус? Ну и всяким mailru, если кому-то это надо...
Почему не превратить robots.txt в белый список, перечисляя тех, кому можно, а остальным Disallow?
Потому что в robots.txt указываются инструкции для поисковых роботов.
К паразитному бот трафику (если именно он вам беспокоит) этот служебный файл не имеет никакого отношения.
Формально в директиве User-agent вы можете запретить индексацию любым поисковым роботам, но:
а) только поисковым
б) это лишь рекомендация, которая может быть поисковым ботом проигнорирована
