- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет
Если я на домене положу роботс тхт
такого содержания:
User-agent: *
Disallow: /
и на странице положу ссылку
то поисковики по ссылке этой пройдут а страницу не проиндексируют
правильно?
Не совсем. Это означает, что боту запрещено туда ходить.
polonium, нет не правильно, они вообще сайта не увидят.
З.Ы. ссылка ведь на странице, как бот ее увидит, не видя страницы?
Да, с данным кодом роботу запрещено индексировать сайт вообще. Что бы запретить конкретную папку или файл то код должен быть такой-
User-agent: *
Disallow: /print.html
Запрещаем к индексации файл принт хтмл. Советую кстати закрывать от индексации версию для печати.
Для яндекса желательно отдельный код
User-agent: Yandex
Disallow: /print.html
а как тогда сделать чтобы страница не индексировалась но бот по сылкам на ней ходил?
а как тогда сделать чтобы страница не индексировалась но бот по сылкам на ней ходил?
никак... писал ведь
ссылка ведь на странице, как бот ее увидит, не видя страницы?
никак... писал ведь
а если страница проиндексирована и я такой роботс положу
то из индекса и кэша она вылетит?
P.S. есть ли поисковики которым наплевать на robots.txt?
а если страница проиндексирована и я такой роботс положу
то из индекса и кэша она вылетит?
P.S. есть ли поисковики которым наплевать на robots.txt?
1 да
2 нет
а как тогда сделать чтобы страница не индексировалась но бот по сылкам на ней ходил?
никак... писал ведь
Как это никак?
Вот так:
<meta name="robots" content="noindex,follow">
а так он пройдет?
это просто в кейворды вставить в страницу
<meta name="robots" content="noindex,follow">
?
и все поисковики не будут индексировать страницу а по ссылкам пойдут?
тогда файл роботс не нужен мне?
P.S. есть ли поисковики которым наплевать на robots.txt?
да :) частично яху
Как это никак?
опятьж - частично яху давно к..л на это, как минимум у него замечено