Размер отдаваемого html?
В браузер при этом html отдается?
Это какие-то большие списки?
Сначала такие логи покажите... а потом дуйте на воду.
Сорян. Я говорил более в общем о запрете в robots, а не именно //
А так nginx к примеру в логе 404 записывает адрес с одним /
1. Что такое Domain Trust? Я читал что он из-за ссылок.
2. Зачем Вам Domain Trust?
не зачем таскать на каждую страницу 100 кб кода.
Я так думал в 2009.
А метрика и аналитика тянут 0 кб.
Чтобы исключить страницу из индекса, поскольку там есть каноникал, ноуиндекс или редирект, нужно зайти на эту страницу. Если Вам этого не требовалось, то это другой случай.
Та просто пару раз по дурости генерировалась тьма дублей (не с //). Эффективней запретить на корню на будущее даже.
А также на некоторых страницах был noindex и каноникал, но страница была в СЕРПе. Под рукой примера нет.
Ну и экономия бюджета.
Что и требовалось.
Если Вам этого не требовалось, то это другой случай.
Во-вторых, ...для гугла может только помешать.
Почему?
Действительно интересно.
webinfo #:
robots.txt в данной ситуации наихудший вариант.
Разрешите не согласиться (я сначала был такого же мнения, как Ваше).
Принимать лекарство все же лучше в комплексе.
Чтобы боты даже не пытались туда стучаться - профилактика в виде robots.
А лечение уже редиректом.
Хотя, если враги наставили ссылок на // с норм доменов, то можно ограничиться редиректом.
Кто-то видел наставленных врагами ссылки на дубли?
Может есть у кого решение именно для запрета в robots.txt?
Только что сделал так:
Disallow: /*//
