- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Как запретить роботу яндекса каталога индексировать сайт?
Если Вы хотите удалить сайт из Яндекс.Каталога, Вам необходимо так сконфигурировать сервер, чтобы он отдавал роботу Каталога код 404 не менее месяца. Робот представляется как Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots).
Как это сделать? сайт на битриксе
Есть специальные теги, такого плана robots="No yaca" только точно гляньте как по правилам он пишется!
Как запретить роботу яндекса каталога индексировать сайт?
Для файла robots.txt:
User-agent: YandexCatalog
Disallow: /
Кстати. Disallow: / я использовал при выводе сайта из под АГС(показывалась только главная страница). Почистил от ссылок. Полностью закрыл на месяц сайт для индексирования Яндексом. Через 1.5 месяца сайт вышел из под АГС и был полностью проиндексирован.