Индекс яндекса странных урлов

Andy HaRd
На сайте с 06.02.2015
Offline
39
1143

Всем привет, возникла такая ситуация, надеюсь поможете разобраться с ней =)

Есть форум, который имеет URL вида site.ru/forum/11-2222-1 (11 - айди категории), (2222 - айди темы), (1 - страница темы).

Если к урлу добавить любую цифру к (11 - айди категории), то будет 301 редирект на нормальный урл с нормальным айди, в нашем случае (11).

Если добавить любую цифру к айди темы, то будет 404 ошибка, ведь такой темы в таком разделе не существует. Та же ситуация и со страницей. Если такой страницы в такой теме не существует, то будет ошибка 404.

К сожалению в движке не проработано вот что. Если к урлу (где цифры) добавить любые буквы, то 404 ошибка выдаваться не будет. Страница так-же откроется по этому адресу.

Пример:

site.ru/forum/11-2222-1 (норма)

site.ru/forum/11-2222wogj (не норма)

site.ru/forum/wgwgw11-2222-1 (не норма)

Яндекс каким-то образом у меня подхватывает эти страницы и вносит в индекс. За счет этого в поиске полнейший бардак. То нормальная страница, вида "site.ru/forum/11-2222-1" вылетает с индекса и ее заменяет кривая, то обе в индексе сидят и трафик несут...

Собственно вопросы:

1) Каким образом яндекс (и немного гугл) узнает о таких кривых страницах и вносит их в индекс? (Нигде ссылок на такие кривые урлы нету, разумеется сам в ручную их не добавлял в индекс). Есть предположение, что юзеры криво правят адрес и то ли при помощи метрики, то ли при помощи браузера, роботы как-то об этих адресах узнают...

2) Что делать с такими кривыми ссылками? Подумываю сделать в ручную 301 редирект с кривых урлов (вида site.ru/forum/11-2222wogj) на нормальные (site.ru/forum/11-2222-1). Правильно ли это?

3) Что отписать разрабам CMS, чтобы при вводе буков в урле был редирект на нормальныйы урл или отдавалась ошибка 404, как думаете?

Andy HaRd
На сайте с 06.02.2015
Offline
39
#1

Все так-же жду ответов :)

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#2

Такие урлы могут появляться, если кто-то где-то оставил ссылку на страницу и не поставил после неё пробел. Разумеется, надо настраивать 301, либо каноникал. Можно и 404 настроить, но тогда кривые ссылки будут битыми.

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
Hammer8
На сайте с 04.08.2011
Offline
178
#3

1) Это один из старых способов давления на конкурента. Разместить где-нибудь список сгенерированных Урлов, чтобы количество дублей в поиске было запредельным.

2) Допустим с теми, которые уже попали в индекс.

3) Самый правильный вариант.

Ingref:
страницу и не поставил после неё пробел.

Редкий сценарий, чаще всего ссылка будет неактивна.

Полный спектр услуг по продвижению сайтов ()
D.iK.iJ
На сайте с 26.05.2013
Offline
225
#4

На PHP можно проверять и если URL не цифры (!is_numeric) - то делать 301 или 302 редирект на нужную страницу, например.

header("HTTP/1.0 301 Moved Permanently");

По идее, пишется за пару минут. А вот куда вставить в CMS - это чуть сложнее :)

Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).
M
На сайте с 04.12.2013
Offline
223
#5

Andy HaRd, обычно редиректы делаются только для схожих адресов, которые могут вызвать путаницу у пользователей (трэйлинг слеш, www-домен, др. регистр букв), хотя редирект со всех адресов с левой припиской к id (аля авито) тоже имеет право на жизнь, но это обычно связано с автоматическим изменением адреса при переименовании объявления (материала), чего на обычных сайтах можно избежать, поэтому я бы посоветовал просто отдавать 404-ую по левым адресам, если конечно не обнаружатся жирные бэки по таким адресам, что навряд ли.

Домены и скрипт для коротких ссылок: https://u75.ru/domains-for-shortcuts
Andy HaRd
На сайте с 06.02.2015
Offline
39
#6

Видите в чем проблема.

Форум живет на uCoz'e. Там к сожалению ни htacess нельзя редактировать (правда функция проставления редиректов с одной страницы на другую есть), ни 404 ошибки выдавать там, где ты хочешь.

Это их косяк, в плане урла, полагаю, что в ближайшее время они его не поправят. Уж не очень сильно они гонятся за улучшением именно форумов своей системы (предпочитают интернет-магазины).

Тут у меня остается один вариант, делать редиректы 301 с кривых урлов на нормальные, которые проставлены на самом форуме.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий