- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет! Составил роботс, хочу убедиться, что правильно, есть некоторые нюансы - хочу чтобы индексировались только данные страницы, кроме главной, и страницы, адрес которых - продолжение данных адресов, и только главная. Никакие другие страницы индексироваться не должны (типа /tag, /card и так далее).
User-agent: Yandex
Allow: /$
Allow: /novosti/
Allow: /poleznoe/
Allow: /kontakty/
Allow: /o-magazine/
Allow: /postelnoe-belio/
Allow: /kak-kupit/
Allow: /optovikam/
Allow: /prais-list/
Allow: /oplata-i-dostavka/
Allow: /garantii/
Allow: /katalog/
Disallow: /
Если неправильно, то как написать роботс, который удовлетворяет такому требованию?
Лучше запретите индексацию того, что индексироваться не должно, вот и все.
Как у вас будет индексироваться остальное, если вы написали "Disallow: /"? Робот дальше и не пройдет. Если только сразу на внутренние сразу будет заходить со внешних ссылок. Но имхо, это кривой какой то роботс.
Ну, например, я не могу отследить (да и не хочу) страницы, которые не должны индексироваться, зато знаю список страниц, которые индексироваться должны. Дак вот имея этот список - как составить роботс?
http://robotstxt.org.ru/
Disallow: /
Запрещает вообще индексировать весь сайт.
Яндекс говорит:
Файл роботом читается сверху вниз. Или я чего-то недопонимаю, либо вы.
В Вашем случае удобно организовать префикс или постфикс для ссылок, а затем использовать "*", в качестве шаблонизатора.