Как искать дубли?

OL
На сайте с 12.02.2010
Offline
71
547

Есть большой сайт, сделанный на самописном движке, который не поддерживает 404 ошибку.

То есть ввожу всякую хрень типа: www.site.ru/fgsdggfdgsdg и выдается главная страница.

Из за этого очень часто влетают в индекс дубли главной страницы.

На данный момент ищу их ручками я ЯндексВэбмастере, но на то уходит очень много времени.

Есть ли какой то способ быстрого обнаружения всех таких дублей?

K
На сайте с 31.01.2001
Offline
737
#1

Более правильно настроить так, чтобы на всякую хрень сервер выдавал 404.

Для этого нужно поковырять движок.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Василий Ткачев
На сайте с 19.05.2005
Offline
481
#2
Kost:
Более правильно настроить так, чтобы на всякую хрень сервер выдавал 404.
Для этого нужно поковырять движок.

Если сайт на голом html - движок не поковыряешь... Это уже настройки сервака и htaccess

Продвигаем естественно ( http://www.inetessentials.ru/ ) и непринужденно. Практический курс по оптимизации ( https://allintop.ru/optimization/ ) - без воды и на основе сайтов студентов. Ежегодная конференция All in Top Conf (https://www.allintopconf.ru/)
K
На сайте с 31.01.2001
Offline
737
#3
inetessentials:
Если сайт на голом html

Василий, см. выше.

OvipLo_Koss:
Есть большой сайт, сделанный на самописном движке, который не поддерживает 404 ошибку.
aparserok
На сайте с 14.07.2010
Offline
46
#4

Боюсь натупить, но я бы сделал так:

1. спарсить все страницы, обязательно знать полный урл спарсенной страницы

2. проверить на дубли страниц, например Зеброидом

3. руками почистить

но это много ручной работы, хотя реализуемо

с удовольствием почитаю ответы других

Магазин аккаунтов с балансом Litres,DNS,Ozon,Rotapost и еще 50+ других сервисов тут - vk.cc/7QK0Sk
Василий Ткачев
На сайте с 19.05.2005
Offline
481
#5
Kost:
Василий, см. выше.

может тупо на инклюдах.. тот же голый html вид сбоку...

это смотреть надо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий