- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите пожалуйста как настроить robots.txt таким образом чтобы:
Закрыть от индексации все страницы сайта но кроме главной в таком виде http://site.ru/ и кроме внутренних например этих:
site.ru/o-nas
site.ru/uslugi
site.ru/kontakty
Насколько я понял из хэлпа яндекса, то нужно сделать такой robots
User-agent: Yandex
Allow: /o-nas
Allow: /uslugi
Allow: /kontakty
Disallow: /
Host: site.ru
Но при этом я не уверен, что будет индексироваться главная в таком виде http://site.ru/
Или всё правильно и главная будет тоже индексироваться + что указано в Allow: ?
Disallow: /
Allow: /$
MegaSEOkg, сделав Disallow: / полностью запретишь индексацию сайта
MegaSEOkg, сделав Disallow: / полностью запретишь индексацию сайта
Кроме тех,что Allow
Так я толком ничего и не понял, если Disallow: / в любом случае полностью закроет весь сайт, то как мне тогда всё таки выйти из ситуации и добиться чтобы индексировалась только главная + 10 внутренних которые мне нужны.
Если не сложно, напишите пожалуйста, конкретно что мне нужно указать в robots для поставленной задачи.
Если так не правильно:
User-agent: Yandex
Allow: /o-nas
Allow: /uslugi
Allow: /kontakty
Disallow: /
Host: site.ru
То как правильно?
Уж очень надо на одном из сайтов, сейчас есть огромное количество страниц, и на части из них уже переписан контент, а на 500 с лишним ещё будет переписываться.
Найти список всех которые желательно закрыть - технически пока не возможно.
Проще открывать разрешение на индекс для тех страниц которые можно и нужно кормить Яндексу.
Всем большое спасибо.
MegaSEOkg,
всё верно вы написали.
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'
читайте здесь https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml