- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В общем хотелось бы запретить Яндексу индексировать страницы профилей пользователя
сайт.ru/user/Magnum/
Может что то в rotobs.txt не дописано
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Спасибо
С уважением, Андрей
variousmetal, пропишите мету noindex,nofollow на страницах, которые вы не хотите индексировать. А ваш пример без конкретики вообще-то бесполезен.
variousmetal, а что с такой "конструкцией" Яндекс индексирует? По идее все верно, у вас прописан атрибут Disallow на папки /user/.
Disallow: /user/ доступ должен блокироваться или я не прав?
Disallow: /user/ доступ должен блокироваться или я не прав?
Это запрет на индексацию всего что начинается с user/. Если не работает, то пропишите:
как посоветовали выше.
DC***, А почему тогда профили пользователей папали в индекс ?
DC***, А почему тогда профили пользователей папали в индекс ?
Если бы я знал. У меня на сайтах все что имеет атрибут disallow, как правило в индекс не попадает. Попробуйте вместо User-agent: * прописать User-agent: Yandex. Если шило на мыло, то мета, как написал выше.
Файл сильно усложнен, если надо закрыть доступ Яндексу (и только Яндексу), то:
User-agent: Yandex
Disallow: /user/*
Все, все файлы, начинающиеся с сайт.ру/user/<все что угодно> должны выпасть из индекса через несколько апов (не моментально!)
На всякий случай проверьте синтаксис.
rakurs, спасибо большое