- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Что я сам начинаю путаться что лучше закрыть страницы в robots.txt или установить на них <meta name="robots" content="noindex,nofollow">...
В чем принципиальная разница между этими инструментами?
Как я понимаю, закрытие в robots.txt рекомендует роботу вообще не посещать выбранные страницы, что позволяет экономить краулинговый бюджет.
Применяется для технических страниц CMS
<meta name="robots" content="noindex,follow">
Говорит что данную страницу не надо индексировать, но можно переходить по ссылкам на ней. Важно, что перед эти страницы поисковик сначала сканирует, т.е. краулинговый бюджет расходуется.
Может применяться для страниц пагинации каталога, страниц с нежелательными к индексированию get параметрами и т.д.
<meta name="robots" content="noindex,nofollow"> - аналогично, но переходить по ссылкам не рекомендуется.
В чем еще разница? Есть какие либо принципиальные отличия в применении?
<meta name="robots" content="noindex,nofollow"> - ставиться точечно или когда нужно убрать страницу из индекса ПС.
robots.txt это говорит сразу же вообще туда не заходить и не смотреть, что за страница. Даже если она уже в индексе, она будет висеть после запрета.
Есть мнение, что <meta name="robots" content="noindex,nofollow"> надежнее, т.к. на robots.txt бот пс может иногда и подзабить.
Он может подзабить на всё.
Он может подзабить на всё.
Поддерживаю.. И первый и второй вариант - рекомендательные директивы.
Есть мнение что это все не работает . Сам видел ссылки которые вроде бы ноуфолоу и ноуиндекс . Однако прога их распознавала как доуфолоу и вес они передавали и ТИЦ и т д
https://support.google.com/webmasters/answer/6062608?hl=ru&ref_topic=6061961&visit_id=1-636465381403988530-2847334096&rd=1
Неграфические файлы
В случае с неграфическими файлами (например, веб-страницами) файл robots.txt используется для управления сканированием. Например, можно запретить сканирование похожих или ненужных страниц, чтобы не перегружать сервер. Нельзя использовать файл robots.txt, чтобы скрыть страницу из результатов Google Поиска. На нее могут ссылаться другие страницы, и она все равно будет проиндексирована. Чтобы заблокировать страницу в результатах поиска, применяйте тег noindex или директиву или установите пароль.
https://support.google.com/webmasters/answer/93710?hl=ru