- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте. У меня есть сайт на CMS joomla 1.5. Еще около полугода назад решил установить модуль календаря на сайт, после установки через пару апдейтов Яндекса в индексе появились непонятные дубли страниц. Модуль сразу снял, думал что со временем эти дубли исчезнут с индекса. Дубли только тех страниц, которые были на сайте в момент установки календаря. У тех страниц, которые появились уже после удаления календаря дублей нет. Но уже полгода эти дубли стабильно держатся в индексе. Пытался удалить вручную через http://webmaster.yandex.ru/delurl.xml не получается, пишет: "Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатегом noindex." Подскажите пожалуйста как избавиться от этих ненужных страниц. Вот пример:
Правильная страница:
сайт.ру/категория/название_статьи
Дубли страниц, которые нужно удалить:
сайт.ру/категория/66?sectionid=0&bsb_midx=0
сайт.ру/категория/71?sectionid=0&bsb_midx=-1
сайт.ру/категория/71?sectionid=0&bsb_midx=-3
сайт.ру/index.php?start=21&bsb_midx=-2
сайт.ру/component/content/article/60?sectionid=0&bsb_midx=-4
И таких дублей больше сотни... есть даже по несколько дублей на одну и ту же страницу. :(
NewNuma,
почитайте про robots.txt - в нем можно запретить индексацию таких страниц.
"Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатегом noindex.
так действительно, запретите в роботсе, хотя это тоже не будет 100% гарантией
в гугле можно заказать удаление из индекса страниц, может и у яндекса подобный сервис есть
так действительно, запретите в роботсе, хотя это тоже не будет 100% гарантией
А как правильно в роботс прописать чтобы они удалились и больше не индексировались?
Если CMS - Joomla, то статья по поводу борьбы с дублями есть на этом сайте, например.
Если CMS - Joomla, то статья по поводу борьбы с дублями есть на этом сайте, например.
К сожалению мой случай там не рассматривается. А у меня еще и почти в каждом дубле есть ID статьи... 😒
NewNuma добавил 03.01.2011 в 19:50
Подскажите кто-нибуть, что нужно прописать в роботс, чтобы не индексировались подобные страницы:
сайт.ру/категория/66?sectionid=0&bsb_midx=0
сайт.ру/категория/71?sectionid=0&bsb_midx=-1
сайт.ру/категория/71?sectionid=0&bsb_midx=-3
сайт.ру/index.php?start=21&bsb_midx=-2
сайт.ру/component/content/article/60?sectionid=0&bsb_midx=-4
"Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатегом noindex." Подскажите пожалуйста как избавиться от этих ненужных страниц. Вот пример:
Правильная страница:
сайт.ру/категория/название_статьи
Дубли страниц, которые нужно удалить:
сайт.ру/категория/66?sectionid=0&bsb_midx=0
сайт.ру/категория/71?sectionid=0&bsb_midx=-1
сайт.ру/категория/71?sectionid=0&bsb_midx=-3
сайт.ру/index.php?start=21&bsb_midx=-2
сайт.ру/component/content/article/60?sectionid=0&bsb_midx=-4
И таких дублей больше сотни... есть даже по несколько дублей на одну и ту же страницу. :(
Именно потому не удаляются страницы, что в вашем robots.txt нет на то указаний. Ни в Гугле, ни в Яндексе у меня не получилось заказать удаление страниц через панель вебмастера до тех пор, пока я не добавил в роботсе вручную для каждого дубля что-то вроде (для вашего случая):
Disallow: /категория/66?sectionid=0&bsb_midx=0
Disallow: /категория/71?sectionid=0&bsb_midx=-1
Disallow: /категория/71?sectionid=0&bsb_midx=-3
Disallow: /index.php?start=21&bsb_midx=-2
Disallow: /component/content/article/60?sectionid=0&bsb_midx=-4
у меня на Джумле пока что работало...
Именно потому не удаляются страницы, что в вашем robots.txt нет на то указаний. Ни в Гугле, ни в Яндексе у меня не получилось заказать удаление страниц через панель вебмастера до тех пор, пока я не добавил в роботсе вручную для каждого дубля что-то вроде (для вашего случая):
Disallow: /категория/66?sectionid=0&bsb_midx=0
Disallow: /категория/71?sectionid=0&bsb_midx=-1
Disallow: /категория/71?sectionid=0&bsb_midx=-3
Disallow: /index.php?start=21&bsb_midx=-2
Disallow: /component/content/article/60?sectionid=0&bsb_midx=-4
у меня на Джумле пока что работало...
Спасибо за совет... попробую добавить в роботс отдельно каждый дубль. Правда их более 150.. :o Только вот вопрос, а заблокируются именно эти страницы? А страницы вида: сайт.ру/категория/название_статьи останутся доступны, т.е. все что идет после категории? Просто я в роботс не очень разбираюсь.
На здоровье!
Да, должны закрыться исключительно те страницы, которые будут прописаны в роботсе.