- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
У некого сайта 5 зеркал-партнеров.
Необходимо закрыть от индексирования несколько директорий данного сайта, но так, чтобы на зеркалах эти директории оставались открытыми.
Вариант robots.txt:
User-agent: Yandex
Disallow: /dir1/
Disallow: /dir2/
Disallow: /dir3/
не подходит:idea:, так как при этом в зеркалах они тоже закрыты.
Какие еще есть варианты?
Есть ли смысл сделать отдельный robots.txt для каждого поддомена и прописать
User-agent: *
Host: dom1.site.ru
Поможет ли это избежать склейки с основным доменом?
Есть ли смысл сделать отдельный robots.txt для каждого поддомена и прописать
User-agent: *
Host: dom1.site.ru
Поможет ли это избежать склейки с основным доменом?
Непонятно. Вам нужно склеить или избежать склейки?
И про первый вопрос вообще непонятно ничего. К чему такие заморочки?
Дело в том, что есть некие директории, которые до обновления сайта были поддоменами. Эти поддомены продвигались по среднечастотным запросом и входили в топ. После обновления поддомены выпали, возможно, были склеены с основным доменом. Хотелось бы как-то восстановить выдачу поддоменов 😕
Неужели никто не знает? Дайте хоть какой-то совет!!!!
Показывать на основном сайте и на зеркалах разный robots.txt
Реализуется с помощью htaccess.
Все.
Как альтернативный вариант - <META name="ROBOTS" content="noindex">
не подходит
Судя по вашей ситуации - подходит. Яндекс для поддомена не увидит robots.txt, т.к. его нет в папках.
К примеру, если у вас папки по ftp выглядят так:
/site.ru/ - относится к домену site.ru. И в нем лежит robots.txt
/site.ru/dir1/ - относится к домену dir1.site.ru (и т.д.).
При обращении Яндекса к dir1.site.ru он не увидит robots.txt, который лежит в /site.ru/
User-agent: *
Host: dom1.site.ru
Неправильная запись. Обязательно должен быть Disallow
Судя по вашей ситуации - подходит. Яндекс для поддомена не увидит robots.txt, т.к. его нет в папках.
К примеру, если у вас папки по ftp выглядят так:
/site.ru/ - относится к домену site.ru. И в нем лежит robots.txt
/site.ru/dir1/ - относится к домену dir1.site.ru (и т.д.).
При обращении Яндекса к dir1.site.ru он не увидит robots.txt, который лежит в /site.ru/
У сайта есть зеркала для которых будет тот же robots.txt что и для основного сайта...
На главном сайте директории должны быть закрыты, а на зеркалах- НЕТ.
... но решение найдено! Всем огромное спасибо!:)))
В продолжение этой темы возникли дополнительные вопросы...
Более подробно: на конкретном сайте есть деление информации по городам-директориям. Так же для всех данных городов существуют поддомены которые дублируют информацию соответствующих директорий.
Вопрос в том надо ли на каждом поддомене закрывать от индексации все директории-города или только ту что дублирует данный поддомен?