katict

Рейтинг
22
Регистрация
04.03.2010
Дубли со слешем
ttrader:
Первый раз вижу такую конструкцию =)
Если сомневаетесь, всегда лучше проверять в яндекс.вебмастере, там специально инструмент есть в "Настройках индексирования", называется "Анализ роботс.тхт". Вбиваете адрес странички, жмете "Анализировать" и оно вам скажет, запрещена страничка в вашем роботсе или нет.

Я как раз и проверила в вебмастере не запретила ли случаем основные страницы. Вебмастер написал, что все ок, но страницы при этом удалил :((

Дубли со слешем

Robots был следующего содержания (удалила дубли из роботса после того как все страницы выпали):

Disallow: /pages/$

Disallow: /pages/services$

Disallow: /pages/news/1/9$

Disallow: /pages/articles$

Disallow: /pages/articles/1/10$

Disallow: /pages/articles/1/12$

Disallow: /pages/articles/1/8$

Disallow: /pages/articles/1/9$

Disallow: /pages/catalog$

Disallow: /pages/catalog/15/$

Disallow: /pages/catalog/16/$

Disallow: /pages/catalog/18/$

Disallow: /pages/catalog/19/$

Disallow: /pages/catalog/22/$

Disallow: /pages/catalog/24/$

Disallow: /pages/catalog/24/1/20$

Disallow: /pages/catalog/29/$

Disallow: /pages/catalog/30/$

Disallow: /pages/catalog/31/$

Disallow: /pages/catalog/32/$

Disallow: /pages/news$

Disallow: /pages/news/1/7$

Disallow: /pages/news/1/8$

Disallow: /pages/news/1/$

Disallow: /pages/articles/1/$

При этом из индекса, например, выпала страница /pages/catalog/15 и многие другие :(