Они могут менять User-Agent и наверняка это делают, чтобы как раз не нарываться на явный запрет.
Robots.txt не решает данные задачи, роботс актуален для управления областями индексирования основными ПС.
Вопрос в том, какую конкретно задачу вы решаете.
Избавить сайт от всех ботов вы всё равно не сможете, часть из них будет игнорировать правило User-agent: *, Disallow: /
Вы конечно можете взять известный перечень имён поисковых ботов, например, здесь и запретить их через User-agent, но никакой особой погоды это для вас не сделает.
Влияет ли название сайта в заголовке статьи на позиции?
Пример заголовка:
title статьи - Название сайта
или без заголовка:
title статьи
На позиции запросов, связанных с названием сайта - да, влияет.
Это актуально для сайтов/проектов, где большой объём брендовых запросов, например крупные СМИ.
Если же мы говорим о каком-то неизвестном статейнике, который собирает трафик благодаря тестовой составляющей, то лучше использовать зону Title-а для более приоритетных запросов в контексте выбранной страницы.
Думаю, затык только в том, что кому-то сложно принять существование отдельных специализаций.
Примерно тоже самое можно сказать, что нет никаких сеошников, контекстологов, smm-щиков - есть только вебмастера с готовностью применить те или иные навыки.
Я же довольно демократично к этому отношусь, принимая даже более узкие специализации, такие как авитологи, зенноводы, специалист по e-mail рассылкам.
Знаю людей, которые уже несколько лет занимаются и зарабатывают только этим, выпуская при этом курсы и обучающие материалы.
Устраивать горячие споры и непримиримые дебаты, на мой взгляд, пустое занятие :)
Используйте данные Вебмастера.
А почему бы не запретить всех роботов, кроме Яндекса и Гугла в robots.txt? Какой в этом минус? Ну и всяким mailru, если кому-то это надо...
Почему не превратить robots.txt в белый список, перечисляя тех, кому можно, а остальным Disallow?
Потому что в robots.txt указываются инструкции для поисковых роботов.
К паразитному бот трафику (если именно он вам беспокоит) этот служебный файл не имеет никакого отношения.
Формально в директиве User-agent вы можете запретить индексацию любым поисковым роботам, но:
а) только поисковым
б) это лишь рекомендация, которая может быть поисковым ботом проигнорирована
Два момента.
Специалист по контекстной рекламе тоже занимается проработкой семантического ядра и поисковой аналитикой, но его не называют сеошником, потому что это другая специфика. Также и здесь. Cеошник не занимается продвижением на маркетплейсах, сеошник занимается продвижением сайта в поисковых системах.
Второй момент - успешная работа там, где интересы работодателя и работника в большей степени удовлетворены, поэтому люди конечно бывают разные, и брать они могут на себя разные функции, но формально, вы называете одного специалиста, а в содержании работы указываете другую специфику, поэтому я и захотел вам помочь советом.
В остальном, конечно, поступайте так, как считаете нужным, успехов!
Я думаю не столь принципиален спор - есть ли самостоятельные профессии, сколько очевидно, что задачи разработки и анализа данных по этим направлениям точно есть.
Не понял, кого конкретно программистов-блогеров или коллег - программистов? :)
Ну это смотря какие.
На Javascipt-е сейчас пришёл очень много от web приложений до систем управления УД.
Да про многое приходится говорить, раз заходит тема :)
По-моему вы сильно драматизируете ситуацию.
Во-первых, сейчас программиста ищут сразу на рабочий стек. Условно, ангулярщики ищут свою команду, реактеры - другую.
Во-вторых, знание нескольких фреймворков ещё 10 лет считалось джентельменским набором. Опять-таки, зрелый php-шник с опытом 5+ должен разбираться с laravel (или хотя бы на старте иметь представление), быстро переключиться на symhpony или при необходимости за короткий срок разобраться с каким-нибудь CI. Не говоря уже о базовых html, css, javascript.
Ну, если человек конечно специализируется на допиливании Битрикса под нужны корпоративных сайтов, то здесь - да, он будет искать работу по своей специализации. Но и в смене языка программирования нет ничего страшного.
Послушайте известных блогеров программеров - Немчинского, Крепанова и остальных, они все переходя с одной работы на другую осваивали что-то новое и им это было интересно. Программисты 30+ как правило знают несколько языков.
Лично знаю программеров, которые на пыхе большую часть времени программируют, но в то же время с интересом изучают Питон для специфических задач. Вообще для пытливых умов это не должно быть это чем-то непреодолимым.
