Ребята...какой-то ахтунг с индексацией дублей

Serebro2009 · 2016-08-04T20:11:53.0000000Z

Суть проблемы: в первых числах августа произошел апдет поисковой выдаче. В Вебмастере яндекса - обнаружил что количество проиндексированных страниц возраслов 1000 раз. Индексируются дубли которых оказалась просто НЕМЕРЯНО. Адреса подобные: http://site.рф/index.html/snegohody/motowezdehod/snegohody/motowezdehod/snegohody/articles/articles/dokumentacija/motobuksirovshhik_volgar_peredneprivodnyj/motobuksirovshhik_volgar_peredneprivodnyj.html и так далее. Платон ответил: По всей видимости, робот где-то в интернете обнаружил ссылки на подобные адреса и поэтому попытался их проиндексировать, а поскольку страницы были доступны и отдавали контент, они были успешно проиндексированы. Выяснить, откуда именно роботу стали известны те или иные страницы, не представляется возможным, поскольку нашей в базе просто не сохраняются данные об этом. Со своей стороны могу порекомендовать Вам проверить исходный код доступных страниц сайта на предмет наличия подобных ссылок. Я замечу, что сайт стоит на чистом HTML уже не первый год...подобного не было, сторонние расширения не ставил. Меня больше интересует, как теперь запретить индексацию страниц начинающихся с index.html/ В роботс прописал: Disallow: /index.html/snegohody/ поможет?

S2

5

Serebro2009

5 августа 2016, 20:23

#31

Да, кто-то шарит в серверных технологиях, кто-то знает LINQ и регулярки, кто-то клевый копирайтер. Я когда делал этот сайт вообще ничем не владел, ни когда не казался сервера...вообще поэтому и спрашиваю совета

B

262

borisd

5 августа 2016, 21:22

#32

Serebro2009:
Адреса подобные:

http://site.рф/index.html/snegohody/...privodnyj.html

и так далее.

Похоже, проблема из-за двух факторов: относительные ссылки в категориях и/или товарах и дубли страниц на неправильных урлах вместо 404-й ошибки.

В принципе, можете попробовать все ссылки заменить на абсолютные или начинать их от корня. Но неотдачей 404-й ошибки надо также разобраться.

Структура сайта Может Баян, но возникла Много дублей страниц

319

Aisamiery

7 августа 2016, 11:16

#33

Serebro2009:

.htaccess:
RewriteEngine on
RewriteRule ^(.+).html/(.*)$ $1.html [R=301,L]

Выше названное правило - помогло, теперь страницы отдают код 404.

А должны отдавать 301, в правиле так указано :)

Так что смотрите, чтоб еще проблемы не всплыли какие. Ну не повыпадали нужные страницы например.

Разработка проектов на Symfony, Laravel, 1C-Bitrix, UMI.CMS, OctoberCMS

Что такое Power BI и зачем это нужно бизнесу

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов