- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
всем добрый вечер. у меня следующий вопрос. как защитить от злых дядек и тетек дубликаты URL, например адреса: "site.ru/" и "site.ru/index.php"? слышал про серверные заголовки (типо 404), но не знаю как ими пользоваться. или может как то можно запретить индексировать один из них в robots.txt? подскажите правильное решение.
Ошибка 404 обозначает, что запрошенному вами URL не соответствует никакая страница сайта. Этому могут быть две причины: ссылка неверна или ранее существовавшая страница была удалена.
Конкретно для этого случая можно в robots.txt замутить Disallow: /index.php
Ошибка 404 обозначает, что запрошенному вами URL не соответствует никакая страница сайта. Этому могут быть две причины: ссылка неверна или ранее существовавшая страница была удалена.
404 ошибка я и так знаю что означает. вопрос другой, как с помощью данного заголовка, запретить выдовать содержимое по адресу site.ru/index.php, а по адресу site.ru/ выдовать все нормально.
в robots.txt пропишите параметр host
Конкретно для этого случая можно в robots.txt замутить Disallow: /index.php
т.е. он site.ru/index.php индексировать не будет, а site.ru/ будет, так? т.е. site.ru/ главное зеркало, адрес index.php проиндексирует?
robots.txt - все помогает. Почитайте про него и вопросы отпадут.
Нет, он на index.php вообще заходить не будет, не проиндексирует. Если уже проиндексировал - скоро выкинет из индекса
в robots.txt пропишите параметр host
эта директива отвечает ведь за определение главного зеркала, так? т.е. нужно прописать host: ".site.ru/". и тогда это будет главное зеркало? просто проблема в том, что если злобный супостат решит в форме addurl добавить ".site.ru/index.ru" произойдет склейка, а соответственно ссылка на этот адрес потеряет вес.
Lisandr добавил 24.03.2010 в 23:28
Нет, он на index.php вообще заходить не будет, не проиндексирует. Если уже проиндексировал - скоро выкинет из индекса
тогда какие еще могут быть варианты?
Можно 301 редирект с помощью mod_rewrite поставить, только тут важно оставить то, что уже фигурирует в индексе поисковиков (основное зеркало), а то будет вылет из индекса на месяцок-другой.
Конкретно для этого случая можно в robots.txt замутить Disallow: /index.php
люди, вот вы жжоте. вы хоть бы спросили а другие страницы на сайты с каким раширением))))
Disallow: /index.php - запретит индексацию всех страниц сайта с расширением .php
чтобы избавится от дубля главной страницы и не поиметь лишних проблем нужно сделать 301-рдирект.