- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Всем привет ситуация такая:
товары были здесь
site.net/kategory/tovar
стали здесь
site.net/newkategory/kategory/tovar
Как закрыть в robots старые пути товаров УРЛ site.net/kategory/ ?
пробовали так:
Disallow: http://site.net/kategory/*
но сервис проверки показывает, что товар по адресу site.net/kategory/tovar доступен.
Disallow: http//site.net/kategory/*
но сервис проверки показывает, что товар по адресу site.net/kategory/tovar доступен.
Адрес домена лишний
Так попробуйте:
Disallow: /kategory/
Если у /kategory/ разные названия, тогда новые категории не перекроете. Проверьте в вебмастере
Если названия /kategory/ одинаковые, то поставить ещё и
Allow: /newkategory/kategory/
А вообще, если названия /kategory/ одинаковые продуктивнее редирект сделать по маске со всех страниц старого раздела на все страницы нового.
Есть урл с гет-параметрами, допустим, site.ru/cat/?id=123.
В robots.txt используется секция:
Clean-param: id *
Для страницы site.ru/cat/?id=123 прописан мета-тег:
<meta name="robots" content="noindex, follow"/>
Для страницы site.ru/cat/ такой мета-тег не прописан.
Вопрос: при такой конструкции не выкинет ли Яндекс страницу site.ru/cat/ из индекса?
manic, спасибо, все отлично получилось роботсом. Ждем теперь как будет себя вести статус индексирования а то вверх пополз конкретно.
Еще вот такой маленький нюанс в роботсе написано сначала все Disallow: потом все Allow: ну как всегда а тут новые слелали так: Disallow: Allow: Disallow: Allow: Disallow: Allow: ничего страшного?
Привет.
Есть сайт на DLE, название: sait.ru у него есть robots.txt вот такой:
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
И вот сегодня в поиске яндекса по непонятным причинам вылез такой сайт main.sait.ru, который точная копия моего сайта, а по сути, является зеркалом основного моего сайта.
То есть, получается, что мой почтовый домен каким-то образом стал сайтом. Служба поддержки хостинга говорит, что си панель что-то начудила и рекомендует сделать редирект в файле .htaccess на основной сайт. Редирект то я сделал, теперь идёт перенаправление на мой основной сайт. А как указать в robots.txt чтобы сайт main.sait.ru не индексировался, а индексировался основной сайт sait.ru
Привет.
А как указать в robots.txt чтобы сайт main.sait.ru не индексировался, а индексировался основной сайт sait.ru
Своим роботсом в корне поддомена, если такая папка создалась.
Зеркало могло создаться через а-запись домена. Проверьте, нет ли лишней.
Всем доброго времени суток!
Подскажите пожалуйста - мне надо временно полностью закрыть сайт от индексации.
Я на всех страницах сайта в поле head автоматом разместил -
<head>
<meta name="robots" content="noindex,nofollow" />
<head>
а в робот.тхт написал -
User-agent: *
Disallow:
Правильно ли я закрыл сайт от ботов и индексации.
Спасибо большое!
Нет, это клиника. Достаточно было
Disallow: /
Блин тут вообще пациенты читают инструкции?
Нет, это клиника. Достаточно было
Disallow: /
Блин тут вообще пациенты читают инструкции?
Можно ответить мне прямо, если уж взялись за клаву? Моя задача по закрытию всего сайта от ботов выполнена или нет?
А то написали про "клинику", и про "достаточно было", а зачем? Целепологание то есть?
Я вроде о другом спрашивал...
Не знаете прямого ответа, так и не сбивайте людей с толку. И без таких пациентов, голова кругом...
Пациент, вам дали прямой и единственный безбажный способ закрыть сайт от индексации. Если бы вы хотя бы инструкцию по robots.txt прочитали, настолько глупых вопросов бы не возникало.