Лучше искать то, что проще... уложится в массе голов.
А за уникальность рерайта он что считает?
А ему это надо?
Надо скорее как-то поддерживать светлый и чистый образ бренда... носителем которого являются такие простые головы.
и пропаганда. Во имя и во славу...
Но при этом решается проблема Гугла.
Буквально исходя из их коммерческих интересов... чтобы их любили свежие жертвы пропаганды.
Или время отрисовки чего-то такого, что ползателю кажется страницей. Всё равно за секунду не вникнет...
А какая там у вас (человеков-нелюдей) инстанция занимается стандартизацией?
Разметка страницы учитывается ботами... при создании чего-то ... остающегося в индексе.
Индексатор — тоже программа.
Получается, что, если есть лишние сцылки например, то ему надо скачать 2 страницы:
/page
/page/
чтобы получить возможность распознавания дублей.
Антиспам не признаётся.
Не фильтрует, а учитывает https://www.google.ru/search?q=%22%D1%80%D0%B0%D0%B7%D0%BD%D0%B5%D1%81%D0%B5%D0%BD%D1%8B+%D0%B8+%D0%B7%D0%B0%D0%BD%D0%B8%D0%BC%D0%B0%D1%8E%D1%82+%D0%BD%D0%B5%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D1%83%D1%8E+%D0%BF%D0%BB%D0%BE%D1%89%D0%B0%D0%B4%D1%8C.+%D0%9E%D0%B4%D0%BD%D0%B0%D0%BA%D0%BE,+%D0%B5%D1%81%D0%BB%D0%B8+%D1%81%D1%80%D0%B0%D0%B2%D0%BD%D0%B8%D1%82%D1%8C+%D0%BA%D0%BE%D0%BD%D0%B5%D1%87%D0%BD%D1%8B%D0%B9+html+%D0%BA%D0%BE%D0%B4+%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9+%D0%B8+%D0%B2%D1%82%D0%BE%D1%80%D0%BE%D0%B9+%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D1%8B%22
И что же мешает верующим в вышеописанное отдавать разные дубли с разным набором этого говна?
Где в HTML углы, а где контент?
Продемонстрируйте сие.
А что было до HTML8?
Для ранжирования DOM не нужен, тут вам не браузер-валидатор...
ps И как такой умный машин не различает очевидные человечеству дубли!
А создателям не надо 99.9% точности распознавания дублей, это дорого.
До приемлемого значения их отфильтровали и так.
https://www.yandex.ru/m?Show%20mUst%20go
site.com/category выпадет из индекса
site.com/category/ впадёт. Может быть когда-нибудь
А покажите дули со / и без
http://slash.500mb.net/w
http://slash.500mb.net/w/
http://slash.500mb.net/w//
http://slash.500mb.net/w///
А что такое CMS?
А проверять надо код запроса ... Яндекс/Гугл-бота.
Скормите им новый домен по ссылке без / и посмотрите что они проиндексируют. Не могут они сделать GET запроса главной без /
Как Кирилл и Мефодий вы писать уже не сможете.
А они тут админы...
ps Надо бы претензию описания на пассажи разделены криво
