Ребята...какой-то ахтунг с индексацией дублей

1 234
S2
На сайте с 03.04.2016
Offline
5
#21
Jaf4:
он в корне сайта. Если его нет, то можно создать. Это такой локальный кусочек конфига для веб-сервера.. Вы погуглите хоть чуть, прежде чем по нескольку раз одно и то же спрашивать.
Ваша проблема решается одной строчкой в этом файле.

Я понимаю, что данный файл для html сайта можно создать и вписать записать его в корень сайта, вопрос в том, почему так произошло, сайту уже года четыре

PS И какая все таки строчка? Как тогда верно составить редирект?

---------- Добавлено 05.08.2016 в 15:06 ----------

Ladycharm:
Не поможет, ваш сайт откликается даже на такие левые url:

и на этой странице уже все ссылки будут с "девочками по вызову" в uri. И в индексе будет ещё +3000 страниц.

У вас роутинг в движке сайта сломался, надо лечить причину, а не пытаться прятать внешние проявления.

Выше был ответ - что это не поможет

B
На сайте с 23.05.2001
Offline
195
#22
Serebro2009:
Я понимаю, что данный файл для html сайта можно создать и вписать записать его в корень сайта, вопрос в том, почему так произошло, сайту уже года четыре

PS И какая все таки строчка? Как тогда верно составить редирект?

Погодите, а вы хотя бы попробовали?

Ну, создать htaccess, как вам посоветовали, и проверить?

MK
На сайте с 18.08.2005
Offline
126
#23
Serebro2009:
Я понимаю, что данный файл для html сайта можно создать и вписать записать его в корень сайта, вопрос в том, почему так произошло, сайту уже года четыре

PS И какая все таки строчка? Как тогда верно составить редирект?

Появилась ссылка. Например /sani/sani_all.html/ , ваш сервер по какой то причине отдает/стал отдавать контент существующего в каталоге /sani/ файла sani_all.html, а адресация в нем прописана относительно, как уже говорили выше, папки: a href="sani_passazhirskie_bshpp500_modernizirovannye.html". Что получится? Как и должно быть:

/sani/sani_all.html/sani_passazhirskie_bshpp500_modernizirovannye.html

.хтакцесс

Что то типа RewriteRule ^(.+).html/(.*)$ $1.html [R=301,L]

предположение

Вероятно (т.к. стили не грузятся на плохих урлах, следовательно их урл не переписывается), надо убрать, что там у вас есть, что касается mod_rewrite и содержит html (если на самом деле сайт просто хтмл-файлы). А лучше здесь хтакцесс показать.

нет
S2
На сайте с 03.04.2016
Offline
5
#24
Basilisk:
Погодите, а вы хотя бы попробовали?
Ну, создать htaccess, как вам посоветовали, и проверить?

Что проверить? Я спрашиваю какой код вписывать в правило RewriteRule

---------- Добавлено 05.08.2016 в 16:29 ----------

Хостер ответил:

Здравствуйте!

Приношу Вам свои извинения за предыдущий неверный ответ.

То, что Вы наблюдаете - это обычная работа веб-сервера. Это не следствие наличия вредоносного кода, это не следствие каких-либо проблем. Так и должно быть.

Блин но почему они индексировались то??

A
На сайте с 20.08.2010
Offline
775
#25
Serebro2009:

Блин но почему они индексировались то??

Сообщение мое выше прочитайте, там источник проблемы.

S2
На сайте с 03.04.2016
Offline
5
#26
awasome:
Сообщение мое выше прочитайте, там источник проблемы.

Я прочитал, но на данный момент в метрике я физически не могу закрыть от индексации свыше 6000 сгенерированных страниц

.htaccess:

RewriteEngine on

RewriteRule ^(.+).html/(.*)$ $1.html [R=301,L]

Выше названное правило - помогло, теперь страницы отдают код 404. В robots для запрета индексации страниц начинающихся с index.html/что-тотам/чтототам... правило должно быть такое?:

Disallow: /index.html

или

Disallow: /index.html/

altezzik
На сайте с 06.11.2011
Offline
247
#27

Если страницы отдают 404 теперь, то они сами выпадут.

M
На сайте с 04.12.2013
Offline
223
#28
Serebro2009:
В robots для запрета индексации страниц начинающихся с index.html/что-тотам/чтототам... правило должно быть такое?:

Disallow: /index.html

или

Disallow: /index.html/

Второе, а то у вас небось и ссылки на главную содержат index.html, а не один лишь слеш.

Домены и скрипт для коротких ссылок: https://u75.ru/domains-for-shortcuts
A
На сайте с 20.08.2010
Offline
775
#29
Serebro2009:
Я прочитал, но на данный момент в метрике я физически не могу закрыть от индексации свыше 6000 сгенерированных страниц

Это не в метрике закрывается (удаление страниц из индекса). Читайте про метрику в моем сообщении, а то левые страницы дальше будут лезть в индекс. Для удаления роботс правьте.

богоносец
На сайте с 30.01.2007
Offline
775
#30
miketomlin:
Второе, а то у вас небось и ссылки на главную содержат index.html, а не один лишь слеш.

<li><a href="../index.html">Главная</a></li>
Но всё равно бот виноват!11
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий