RewriteCond %{HTTP_USER_AGENT} AhrefsBotRewriteRule ^.* - [F,L]
Все верно, только так закрываются исходящие ссылки, а не входящие.
Если хотите скрыть входящие ссылки, то тут нужно работать только через редирект. Этот файл htaccess размещаете на прокладке с редиректом на основной сайт. Соответственно ссылки должны ставится на прокладку.
Но тут нужно учитывать потерю 10-20% PR при 301.
Так при чем тут гугл? И вообще, что вы хотите услышать от людей, не пойму?)
Делайте нормальный сайт и все у вас будет ЗА-ШИ-БИСЬ.
Каждый сеошник глубоко убежден, что за такое гугл должен неистово наказывать.
Но на практике каждый второй сайт в серьезной нише имеет в арсенале парочку подобных ссылок.
Навредят ли? Иногда слежу за одним проектом с 2013 у которого 20-30% подобных ссылок в том числе с главных страниц. За эти 5 лет было несколько серьезных апдейтов кор алгоритмов, улетела масса сайтов с относительно нормальными ссылками, а этот до сих пор в топ1-3.
Вопрос в уникальности доменов. Все ставят ссылки там "где все ставят", а у этого получается уникальные доноры с разной вариацией интеграции невидимого блока без какого-то одного футпринта.
А как вы считаете, отсутствие файла на сервере это какая может быть ошибка?)
Специально для Вас, любителя спецификаций, цитирую developers.google.com:
Диаметрально противоположно тому, что Вы говорите.
Что за тупость?)
Наверное контент пи%*&^ный? Или автоматически сгенерированный?
Вообще удалил физически файл robots.txt. Я видел что гугл бот не может прокраулить файлы, закрытые в /wp-content/themes, которые частично отвечали за стили.
Хуже точно не стало. Наверное даже лучше, т.к. в индекс зашли тэги и по некоторым нч+ хвостам сайт занимает по 2-3 позиции в выдаче. Больше никаких мусорных страниц нет в индексе и даже в дополнительном.
Если страницу нужно закрыть, закрываю ее в админке с помощью плагина, без использования robots.txt
<meta name="robots" content="noindex" /> - кстати это самый надежный способ, даже лучше robots.txt
С яндексом не работаю, только гугл.
В этом и суть)
Была такая же проблема с WP шаблоном на блоге. В инструменте https://search.google.com/test/mobile-friendly была сказано, что вебсайт не оптимизирован под мобильное устройство.
Удалил полностью robots.txt - решил проблему. Изи ;)
А если серьезно, гугл уже очень давно и прекрасно знает архитектуру WP, чтоб не включать в индекс такие страницы как wp-admin или всякий мусор /trackback, /feed.
Вообще-то это открытая общедоступная информация, уже не один раз она даже публиковалась в этой теме:
/ru/forum/comment/15717854
vga1, ассессор не дает оценку самому сайту, не путайте. Это не FB и VK где есть лайк или дизлайк) Да и как ассессор, который может быть без высшего образования, и без технических знаний обязан объективно оценивать качество самого сайта и разбираться в его тематике?
Тема трастовых ресурсов подымается регулярно на западных форумах и блогах. Ни для кого не секрет сколько стоили ссылки с huffington post, forbes, businessinsider до 2015 года и сколько они стоят сейчас. Мало кто об этом скажет, но ссылки с этих сайтов перестали работать, как раньше.
Это же касается википедии и многих (не всех) .edu, .gov сайтов, где сеошники любили ставить ссылки, - веса они вам никакого не дадут. Многие из подобных ссылок могут быть полезны в виде какого-то сигнала для гугла, но не как основная ссылочная масса.
А теперь отвечаю на тот вопрос.
Глубокая страница даже на сайте nasa.gov может не иметь ни одной ссылки, нигде не ранжироваться и гуглом краулится крайне редко, и следовательно быть бесполезной в глазах поисковика. Вы ничего не заметите после того, как разместитесь на такой странице. Даже после 3-6-12 месяцев.
Если взять хороший, посещаемый портал с большой ссылочной массой и купить там гостевой пост - эффект от этой ссылки можно будет заметить иногда даже в первую неделю. На сайте nasa.gov понятно, что вы такое не провернете) В этом и является простое отличие.
Повторюсь, я работая только под западный рынок, и могу ошибаться относительно google.ru/ua - предпологаю сюда не все алгоритмы еще дошли.
