Как убрать мусорные страницы?

DemonNSK
На сайте с 07.08.2009
Offline
91
1585

есть сайт со структурой site.ru/razdel/page.php

проблема в том, что в индексе появилась куча страниц вида:

site.ru/razdel/page.php/index.php

site.ru/razdel/page.php/page2.php

site.ru/razdel/page.php/url/page3.php

site.ru/razdel/page.php/url/url2/page3.php

и т.д.

и все эти дубли отображаются,

а это чревато санкциями со стороны ПС

Как сделать, чтобы после page.php обрубалось всё, что дальше?

что прописать в .htaccess?

SeVlad
На сайте с 03.11.2008
Offline
1509
#1
DemonNSK:
Как сделать, чтобы после page.php обрубалось всё, что дальше

По уму - нужно движок лечить, разбираться кто и почему плодит дубли.

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Топики помощи с ⓌordPress (https://searchengines.guru/ru/forum/1032910 ) и основы безопасности сайтов ( https://searchengines.guru/ru/forum/774117 ). *** Помощь\консультации в топиках форума - БЕСПЛАТНО. Платные услуги ( https://wp.me/P3YHjQ-3 ) - с бюджетом от 150$ ***
DemonNSK
На сайте с 07.08.2009
Offline
91
#2
SeVlad:
По уму - нужно движок лечить, разбираться кто и почему плодит дубли.

в том то и дело, что сайт на html (инклюды), в панели Я.Вебмастера загружены тысячи подобных мусорных страниц, вручную каждую редиректить нереально

что прописать, чтобы такие страницы выводились 404 not found?

M
На сайте с 04.12.2013
Offline
201
#3

Похоже на PATH_INFO. PATH_INFO пропускается, даже если использовать условие "если файл". Попробуйте закрыть по непустому значению этой переменной. За одно и по непустому значению QUERY_STRING не помешает закрыть.

По-хорошему нужно повесить на какой-нибудь движок. Если осмелитесь, могу подогнать один тестовый движок.

Хостинг FOZZY ( https://fozzy.com.ru ) / Выслушаю предложения на домены ( https://u75.ru/domains-for-sale ) / Домены и скрипт для коротких ссылок ( https://u75.ru/domains-for-shortcuts )
P
На сайте с 16.05.2011
Offline
75
#4

Возможно, какая-то редиска на вас такие ссылки наставила.

Также весьма вероятно, что эти "накруты" из-за относительных ссылок. Если это именно так - перепишите их в прямом виде, т.е. замените <a href="razdel/page.php"> на <a href="http://site.ru/razdel/page.php">

И в любом случае пропишите в robots.txt следующее:

Disallow: /razdel/*.php/*

но, единственное, убедитесь через вебмастерскую панель Яндекса, что страница

http://site.ru/razdel/page.php НЕ закрыта от индексирования, а

страницы вида http://site.ru/razdel/page.php/, http://site.ru/razdel/page.php/абракадабра - закрыты.

С Гуглом же никаких проблем, он "накрученные" дубли наподобие site.ru/razdel/page.php/url/url2/page3.php - игнорирует, а если и ставит в индекс - то ненадолго;

а вот Яндекс может месяцами их держать, и о последствиях можно только гадать

DT
На сайте с 28.11.2006
Offline
298
#5
а вот Яндекс может месяцами их держать, и о последствиях можно только гадать

Другу очень крупный портал так забанило с поисковым трафиком 4К в сутки. Почистили движок и сайт вернулся в поиск.

Срочно ручками в роботс или садиться и нормальный движок писать.

Дешевый CloudLinux хостинг (http://www.provisov.net) много площадок в России, Франции, Украине, Германии, Нидерландах, США, Канаде. SSL-сертификат (https://www.provisov.net/blog/2016/10/26/besplatnyj-ssl-sertifikat-dlya-vsex-vashix-sajtov/) бесплатный и предустановленный для всех доменов
P
На сайте с 16.05.2011
Offline
75
#6

Если функциональности хватает, то движок совершенно ни к чему. Самый простой вариант Disallow: /razdel/*.php/* (лично мне помогло).

R
На сайте с 26.12.2005
Offline
86
#7

Наложение заплатки в виде

Disallow: /razdel/*.php/*
избавит от индексирования ненужных страниц, но не "уберет мусорные страницы". Я бы рекомендовал понимать разницу, ибо она очень велика.

Что бы убрать мусорные страницы, надо изменить поведение php скрипта который их генерирует.

P
На сайте с 16.05.2011
Offline
75
#8

Страницы у ТС-а уже в индексе и, прежде всего, нужно закрыть мусор

rifleman:
Что бы убрать мусорные страницы, надо изменить поведение php скрипта который их генерирует.

Если сайт самописный (html + инклюды + скрипты), то виноват почти 100% не какой-то определённый php-скрипт, а внутренние относительные ссылки вида <a href="razdel/page.php">, которые и "плодят" именно такие многоэтажные урлы.

И тогда с практической точки зрения Disallow достаточно - по крайне мере, у меня вот уже несколько лет Яша может и видит, но НЕ ВЫКАЧИВАЕТ "всё это добро" (что самое главное), а юзеры подобные адреса набирают довольно редко :) Впрочем, сейчас как раз и будет такой редкий случай - здесь, безусловно, качественное решение - редирект или 404:

/ru/forum/901874

Давайте спросим у админов Сёрча ,как?☝

R
На сайте с 26.12.2005
Offline
86
#9
Pchelorussia:
И тогда с практической точки зрения Disallow достаточно

Это так :)

Однако такое решение нельзя назвать правильным, ибо скрипт (под словом скрипт я имею в виду то что генерирует HTML/URL, например, какая-то CMS) будет продолжать тратить ресурсы сервера на не нужную, вредную, работу.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий