Неканонические страницы в Поиске

Смотрю прибавилось страниц несмотря на запрет в роботсе, Яндекс поменял стандарт исключений для роботов? знак * теперь не работает.

Тоже заметил в индексе закрытые в роботс страницы.

Как теперь запретить все страницы, в которых есть знак вопроса ? Судя по примеру нужно использовать тильду ~, пытался по аналогии с * сделать не выходит.

Теперь в индексе: пагинация, ненужные параметры фильтра, которые никто не ищет.

Спасибо, Яндекс. Теперь стало лучше 🤪

Was_Ist_Das, а на что влияет то? Ни на что.

Может запороть ПФ, если будут переходы в бредовые сочетания фильтров.

А ещё - какой-нибудь новый фильтр за поисковый спам. Вангую - неканонические страницы забьют все их серверы, после чего будет чистка.

Трудно заранее предугадать последствия всего хаоса

:facepalm: А ничего, что он их и так и так индексирует и хранит?

Сугубо моё ИМХО - вряд ли они все хранятся в полном объёме. Иначе маленький блог на вордпрессе генерил бы десятки тысяч страниц, а это сотни МБ данных. А представьте, сколько может быть сочетаний неканонического URL-спама, который можно будет генерировать внешними ссылками (типа &ogijsogis=192)

Дада, а данные о ссылках, поведенческих и прочем он берет от звезды. Гумунитарий?

На то и нужны канонические URL, чтобы хранить значительную часть информации лишь по 1 URL

Я сильно сомневаюсь, что данные о ПФ хранятся для каждого неканонического URL. Зачем, если в поиске лишь canonical? )))