- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева

Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Требуется в robots.txt разрешить только главную страницу, а остальные запретить.
При этом запретить желательно все страницы, чтобы при добавлении новых не править robots.txt.
Интересует в первую очередь для Яндекса, но лучше для всех ПС.
Заранее благодарен!
Поместить все "неглавные" страницы в папку docs и прописать:
User-agent: *
Disallow: /docs/
Поместить все "неглавные" страницы в папку docs и прописать:
User-agent: *
Disallow: /docs/
Интересует без дополнительного перемещения страниц.
Allow: /$
Disallow: /
Allow: /$
Disallow: /
Спасибо! То, что нужно. Наверное лучше ещё разрешить индексный файл.
Вот, что получилось:
User-agent: Yandex
Allow: /$
Allow: /index.html
Disallow: /
Наверное лучше ещё разрешить индексный файл.
Наверное хуже.
Наверное хуже.
Так это как раз и есть главная страница. Или я что-то не понимаю? Если не затруднит, поясните, почему вы считаете, что строка "Allow: /index.html" не нужна?
У вас по адресу site.ru/ открывается главная страница?
Хотите иметь проблемы с ранжированием дубля? Тогда откройте для индексации index.html, везде на него ссылайтесь как на главную страницу, а на корень сайта нигде не ссылайтесь.
Почитайте про корректность индексации, что делают при аудите сайта, про дубли или дубликаты.
Люди не знают, как избавиться от дублей, а вы своими руками их себе делаете.
А через год переделайте сайт на PHP и сделайте главной страницу /index.php - вот это будет еще веселее.
Сначала разрешающие правила пишутся, потом запрещающие. Чем ниже в списке правило, тем выше приоритет.
PS: Некротопик, однако, появился