- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день! У меня опять вопрос...
Можно ли с помощью robots.txt отключить от индексирования странички, отличающиеся по набору параметров?
Пример:
/default.asp?id=153&article=15
У меня есть ресурс, на котором каждый день добавляется большое количество новой информации и становится неактуальным еще большее количество.. Как можно еще сделать, чтобы запретить к индексации устаревшие страницы?
У меня есть только 2 идеи, помимо robots.txt
1. писать в тегах noindex
2. выдавать 404 ошибку.
Да, можно обойтись robots.txt, если Вы сможете обеспечить 2 вещи:
1. Нужный порядок параметров в ссылках на всех внутренних страницах
2. Сможете запихнуть параметры, по которым нужно будет отрезать страницы, в начало URL
2NULL Мы не можем так сделать =(
А еще как нибудь можно?
Ну тогда действительно только noindex в метатегах.
2NULL Мы не можем так сделать =(
А еще как нибудь можно?
выдавайте в заголовках этих страниц
<META NAME="ROBOTS" CONTENT="NOINDEX">
и все у вас должно получиться...
см. также http://www.yandex.ru/info/webmaster2.html
А это годится только для Яндекс или для всех поисковых систем?
И как быстро страницы будут исключены из базы поисковика? Приблизительно хотя бы?
Вообще-то единственное корректное решение - отдавать всем (включая роботов) 404 на таких страницах. Это если проблема с устареванием информации, если проблема в том, что поисковики из-за старого не успевают индексировать новое - надо обрабатывать заголовок if-modified-since, и выдавать not modified для старых страниц.
Вообще-то единственное корректное решение - отдавать всем (включая роботов) 404 на таких страницах.
То есть удалить, попросту говоря, эти страницы. Разве это решение?
Я бы сделал так: модрерайтом изменил бы такие страницы на что-то более однозначное, например: сайт.ру/категория/параметр
и запретил бы в роботс.тхт индексацию каталога сайт.ру/категория/
Это бы прокатило для всех поисковиков, а тег ноуиндекс работает только для наших.
Ага. Если страницы имеют какую-то полезную нагрузку - значит их трогать не надо (ни вообще, ни в индексах поисковиков), а если нет - значит удалять.
Может "ноуиндекс" для западных и не катит, но noindex работать должен. ;)
Вот цитата взятая с
http://www.robotstxt.org/wc/exclusion.html:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
a robot should neither index this document, nor analyse it for links.
ХостТрекер | Мониторниг доступности вебсайтов. (http://host-tracker.com/ru/) Уведомление на e-mail или SMS.
Вы метатег роботс и тег <noindex> не путайте, последний только русскими поддерживается (и то криво), первый - не только (но тоже бывает криво).