мета-теги keywords на сайте, стоит ли убирать?

Это ложь. Или заблуждение. Официальная позиция Яндекса несколько иная.

https://yandex.ru/support/webmaster/controlling-robot/html.html

После отрицательного учёта сцылок... подлый матрикснет может настроиться и на антиучёт кейвордов.

keywords используется яндексом, проверил экспериментально. Суть эксперимента - придумываем какой-нибудь заведомо несуществующий термин, делаем страницу где он упоминается только в meta keywords и загоняем в индекс. А затем пробиваем выдачу

Т.е. как минимум для определения релевантности они как-то используются, в отсутствие более подходящих страниц с вхождениями термина в текст.

Можно также попробовать оценить влияние вхождения в keywords на ранжирование, только для этого понадобится сделать достаточно много таких примеров, дабы скомпенсировать независящие от контента факторы. Как вариант, придумываем термин, делаем под него 10 страниц с одинаковым текстом, 5 из них с вхождением в keywords, другие 5 без вхождения, загоняем в индекс и смотрим долю страниц в топ-5 в которых есть вхождение в keywords. Если она будет высокая - значит поисковик при прочих равных отдает предпочтение страницам с вхождениями keywords.

Неудачный выбор условий эксперимента (не говоря уж о том, что повторяемые верифицируемые эксперименты тут крайне затруднительны).

Проблема предложенной методологии в том, что она не учитывает влияние хостовых характеристик на ранжирование (а они есть, и влияние - тоже есть), так что эксперимент получается грязным. Не вспоминая даже про "неуникальный контент"

Плюсую. Запускаем много сайтов самой разной тематики и было замечено: даже не оптимизированные страницы, с одним словом в заголовке и без контента, быстрее воспринимаются Яндексом как релевантные для самых неочевидных и сложных запросов. Но думаю, после того как сайт подкидывает бандит или он начинает получать первый трафик по этому запросу, влияние стремится к нулю.

Цель описанного мной эксперимента - проверить гипотезу о том, что в формуле ранжирования Яндекс (в отсутствие или при прочих равных других факторах) вес страницы с дополнительным включением поисковой фразы в meta keywords будет выше, чем только с вхождением в текст. Он должен дать ответ на вопрос - а есть ли смысл заполнять keywords, или достаточно упоминания в тексте.

В результате эксперимента может быть три исхода:

1. Оптимистичный сценарий - все или большая часть страниц в экспериментальной выборке запросов отранжируются таким образом, что будет отдано предпочтение страницам с дополнительным вхождением ключа в meta keywords. Если даже предположить, что какие-то факторы мы не учли, то при возникновении данного исхода получается, что вхождение в keywords их перевесило. Это будет доводом к тому, чтобы заполнять keywords - если можно на что-то влиять в плюс, лучше это делать, чем не делать.

2. Худший сценарий - страницы будут выводиться в выдаче вразнобой, прямой зависимости с наличием доп. вхождения в keywords не будет. Это позволит считать эксперимент несостоявшимся, т.к. из результата может следовать что угодно - либо какие-то иные факторы добавили шум, либо в поисковике реально нет фактора, который бы суммировал факт наличия вхождений как в тексте, так и в keywords. Хотя некоторые могут посчитать это доводом в пользу того, чтобы не заполнять keywords.

3. Невероятный сценарий - если вхождение в keywords наоборот добавит штраф к релевантности и страницы, содержащие его, будут ниже. Это будет аргументом к тому, чтобы наоборот избавляться от keywords.

Насчет воспроизводимости эксперимента - в принципе она есть - только придется сгенерить новые уникальные термины, написать новые тексты и сделать под них новые сайты - т.к. проверяется не ранжируемость по конкретному запросу, а по неограниченному количеству запросов, попадающих под условия:

• Генерируем такой термин для запроса, чтобы Яндекс не предлагал по нему опечаток и не выводил каких-либо результатов поиска. Такую генерацию и проверку вполне можно автоматизировать. Для такого запроса у Яндекса на момент начала эксперимента не будет значимых статистических данных для поведенческих факторов, и в то же время текстовых - например, по соседним словам в других документах, которые употребляются вместе с этими сгенерированными терминами.
• Для каждого запроса пишем или генерируем текст, органично встраивая в него этот новый термин, и публикуем его на 10 тестовых сайтах. На 5 из них делаем упоминание в meta keywords.
• Всего таких терминов генерим к примеру штук 100, соответственно понадобится нагенерить 1000 блогов.
• Хостовые факторы максимально выравниваем - отдельный сайт на каждую участвующую в эксперименте страницу, на том же blogspot можно наплодить тысячами, тоже автоматизируемо. Перелинковку делаем одинаковой - морда и внутренняя страница с публикацией - получается УВ1 и УВ2. Возраст сайта примерно одинаковый, с разницей в несколько минут. Нулевое ссылочное - загоняем в индекс только через инструмент в яндекс.вебмастере и sitemap. Движок и платформа одинаковая, поэтому скорость загрузки тоже должна быть в пределах погрешности. Тему оформления берем общую. Остается, допустим, разное время индексирования страниц - этот фактор должен скомпенсироваться выборкой - эксперимент проводим не по одной поисковой фразе, а минимум по сотне, где-то сайт первыми влетят сайты с наличием вхождения в keywords, где-то без них, но по статистике должно получиться примерно поровну.
• Во время проведения эксперимента держим нулевое поведенческое - не запрашиваем ключи через выдачу, не ходим по сайту со включенными JS, не используем яндекс.браузер, об индексации узнаем через вебмастер и разово снимаем позиции, желательно через XML.

Понятное дело, что даже в случае оптимистичного сценария результаты этого эксперимента имеют ограниченную применимость на практике - большинство реальных запросов для продвижения имеют конкурентов и у поисковика есть какая-то статистика по словам тематики, которая влияет на значимость вхождения конкретных слов, отсутствующих в запросе. Для абсолютно новых слов, по которым задуман этот эксперимент, такой статистики нет и можно посмотреть как работает чистое ранжирование по вхождениям слова.

Да, с этим есть технические проблемы - загнать в индекс много разных сайтов с одинаковым текстом может оказаться невозможным, но в принципе за счет выборки можно использовать уникальные тексты, если выполняется требование новизны слова для поисковика. Хотя, если брать во внимание изменения с момента релиза алгоритма "Королёв", то из этой статьи становится ясно, что взаимосвязь у них есть не только по отдельным словам, но и даже буквенным триграммам. Но модель все равно обучается на корпусе популярных слов, и для неизвестного просто обязана выдать рандомный результат, который будет просто шумом, скомпенсированным выборкой.

Можно еще пробовать такой эксперимент в динамике - сначала загнать в индекс с одним текстом, потом поменять его, дождаться переиндексации и снова посмотреть на результат.

Serg_CS, прежде всего позвольте - благодарность перед строем: нечасто вообще и тут в частности можно встретить так технично расписанную общую задачу.

У меня только одно дополнение/мысль по текстам и превозмоганию Королёва (на уровне бреда) - писать уникальные тексты не на русском, а на клингонском (например, просто это самый проработанный язык из искусственных) кириллицей (там и привычные триграммы будут в пролете, и основные клингонские тексты в основном - на латинице, так что если не все, то множество корреляций пролетит, как фанера).

А так - да, такой, как расписан в полной форме, эксперимент можно считать вполне научным. Текст предлагаю сохранить отдельно, на будущее, а то в архивах замаемся искать, если надо будет

Есть предположение, что будут проблемы с индексацией такого контента - Яндекс посчитает за бредотекст и выкинет такие страницы из индекса.

Кстати, у первоначального эксперимента с keywords интересное продолжение:

Как видно, Яндекс нашел документ не по вхождению в анкор, а по вхождению в href. И в сниппете выводит вместо анкора урл в скобках. О чем это говорит?

1. Возможно, что href является расширением текста документа и трансформируется при индексировании в "анкор (href)"

2. Возможно, работает какой-то переколдунщик чисто для ссылок на выдачу Яндекса, извлекает оттуда поисковую фразу

3. Возможно что серч отдает роботу какую-то другую версию страницы, где действительно следом за анкором указывается урл в скобках, что было бы странно. Простой тест с подменой User-Agent такую гипотезу не подтверждает, но это не единственный способ делать клоакинг - еще можно по IP-адресу робота, который никак не подделать.

Вообщем, можно еще эксперимент ставить по индексированию слов, которые присутствуют только в href 😂

P.S. Забавно что целью такого изврата с оставлением ссылки на выдачу было как раз избежание индексирования страницы с этой темой по этому запросу. Но Яндекс перехитрил и проиндексировал вхождение из урла на выдачу.

Архивная версия - https://hghltd.yandex.net/yandbtm?lang=ru&fmode=inject&tm=1566912291&tld=ru&la=1566588160&text=%D0%BF%D0%BE%D0%B4%D1%85%D1%80%D0%B8%D1%82%D0%BD%D1%8F%D1%82%D0%BD%D0%B8%D0%BA%D0%B8&url=https%3A%2F%2Fsearchengines.guru%2Farchive%2Findex.php%2Ft-1019840.html&l10n=ru&mime=html&sign=ce0e159575150409821a1239567202bf&keyno=0

404 отдает