- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте!
Возник вопрос, как отдавать ошибку 400 для существующих страниц в случае, когда они делают дубль применительно к CMS DLE??
К примеру ,у нас ранее были не закрыты от индексации страницы: /tags/,/page/ и им подобные... Google успешно их схавал, мы опомнились, что забыли закрыть их сразу через robots.txt или meta.
В результатах поиска Google нам начали отображать ненужные проиндексированные страницы, их очень много, от 1000 до 20000 - это дубли тегов, страницы пагинации с дублями контента и прочее...
Мы добавили директиву запрета в robots.txt: Disallow: /page/ Disallow:/tags/ и им подобные, но Google не хочет исключать страницы из поиска. Он пишет: Описание веб-страницы недоступно из-за ограничений в файле robots.txt и продолжает страницу индексировать, естественно, страницы по факту то существуют - возвращается код ошибок (200 ОК) и страницы не удаляются из поиска.
Хочется отправить данные страницы по 404, а лучше даже по 410 Gone, чтобы быстро исключить их из индекса Google, но сами страницы физически не удалять. Как это сделать?
Возможно есть скрипты для этого, или еще что-то...
Cпасибо за ответ.
Руками удалять страницы геморно их много...
Ничего страшного, гугл последнее время индексирует даже закрытые в роботсе страницы, правда без контента, только заголовки.
У меня было все закрыто, тем не менее гугл все схавал. ЦМС Дле
---------- Добавлено 19.06.2013 в 18:54 ----------
В основной выдаче они не появляются.
http://alaev.info/blog/post/3900
и
http://alaev.info/blog/post/4481
http://alaev.info/blog/post/3900
и
http://alaev.info/blog/post/4481
Спасибо, я мета-тегами также все сделал, как положено, но страницы, которые закрыты возвращают код ошибки 200 ОК, тоесть они доступны, я читал, что если даже закрыть их от индексации любыми методами хоть метатегами, хоть роботом, гугл может их не выбросить из поиска, так как они уже в ИНДЕКСЕ.
Поэтому хотелось бы как-то задать для этих страниц код ошибки 404 или 410 (для динамических страниц разумеется, не статика). А то можно так пол года ждать и не дождаться нужного результата.
---------- Добавлено 19.06.2013 в 23:19 ----------
Ничего страшного, гугл последнее время индексирует даже закрытые в роботсе страницы, правда без контента, только заголовки.
У меня было все закрыто, тем не менее гугл все схавал. ЦМС Дле
---------- Добавлено 19.06.2013 в 18:54 ----------
В основной выдаче они не появляются.
На самом деле - это страшно, так как очень плохо для СЕО - дубли не выпавшие из индекса...
Просьба помочь знающих...
Используйте на свой страх и риск. В engine.php можно перед строкой switch ( $do ) {
Проверьте потом - отдается ли 404 для нужных страниц.
Используйте на свой страх и риск. В engine.php можно перед строкой switch ( $do ) {
Проверьте потом - отдается ли 404 для нужных страниц.
Спасибо, отдается, буду ждать результата выкидывания дублей от Гугла ))