Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Дубли со слешем

K
На сайте с 04.03.2010
Offline
22
katict
2210

Обнаружила на сайте большое количество дублей со слешем. Закрыла в robots.txt дубли и добавила их в очередь на удаление. В следующий апдейт из индекс выпали и дубли со слешем и основные страницы без слеша. И сху..и спрашивается??!!! У кого-нить было подобное??

На сайте странице категорий продвигались без слеша, при этом большинство других страниц в индексе со слешем. Что посоветует делать с дублями?

Спасибо заранее за отклики.

T
На сайте с 05.08.2009
Offline
71
ttrader
#1
katict:
Обнаружила на сайте большое количество дублей со слешем. Закрыла в robots.txt дубли и добавила их в очередь на удаление. В следующий апдейт из индекс выпали и дубли со слешем и основные страницы без слеша. И сху..и спрашивается??!!! У кого-нить было подобное??

На сайте странице категорий продвигались без слеша, при этом большинство других страниц в индексе со слешем. Что посоветует делать с дублями?

Спасибо заранее за отклики.

Дубли со слэшем не закрывают в роботсе, а настраивают редирект средствами сервера. Чтоб

ы все запросы страниц со слэшем редиректил на такие же, но без слэша.

Страницы наверняка выпадают потому, что вы неправильно "закрыли дубли" в роботсе, запретив индексацию страниц и со слэшем, и без. Покажите роботс хоть..

K
На сайте с 04.03.2010
Offline
22
katict
#2

Robots был следующего содержания (удалила дубли из роботса после того как все страницы выпали):

Disallow: /pages/$

Disallow: /pages/services$

Disallow: /pages/news/1/9$

Disallow: /pages/articles$

Disallow: /pages/articles/1/10$

Disallow: /pages/articles/1/12$

Disallow: /pages/articles/1/8$

Disallow: /pages/articles/1/9$

Disallow: /pages/catalog$

Disallow: /pages/catalog/15/$

Disallow: /pages/catalog/16/$

Disallow: /pages/catalog/18/$

Disallow: /pages/catalog/19/$

Disallow: /pages/catalog/22/$

Disallow: /pages/catalog/24/$

Disallow: /pages/catalog/24/1/20$

Disallow: /pages/catalog/29/$

Disallow: /pages/catalog/30/$

Disallow: /pages/catalog/31/$

Disallow: /pages/catalog/32/$

Disallow: /pages/news$

Disallow: /pages/news/1/7$

Disallow: /pages/news/1/8$

Disallow: /pages/news/1/$

Disallow: /pages/articles/1/$

При этом из индекса, например, выпала страница /pages/catalog/15 и многие другие :(

Как правильно искать и SEMrush: 11 самых частых Мэтт Катс объяснил, зачем
Toan
На сайте с 06.08.2008
Offline
195
Toan
#3

ТС, правильно вам сказали, из роботса уберите запрет индексации дублей с "/" на конце, при этом настроив редирект на соотв. урлы без "/". Со временем канонические страницы вернутся в индекс, а дубли - нет.

Простейший способ сбора НК ключей (http://mutagen.ru/?r=55527), дающих трафик. Всего 30 рублей за 100 шт. А также автоматическая группировка (http://semparser.ru/p/1506) запросов по страницам для эффективного продвижения + экономия на текстах.
T
На сайте с 05.08.2009
Offline
71
ttrader
#4
katict:
Robots был следующего содержания (удалила дубли из роботса после того как все страницы выпали):

Disallow: /pages/$
При этом из индекса, например, выпала страница /pages/catalog/15 и многие другие :(

Первый раз вижу такую конструкцию =)

Значок $ применим лишь к собственно значениям, но не к разделителю уровней (слэш).

Вы явно запретили индексацию, поисковик выполняет.

Если сомневаетесь, всегда лучше проверять в яндекс.вебмастере, там специально инструмент есть в "Настройках индексирования", называется "Анализ роботс.тхт". Вбиваете адрес странички, жмете "Анализировать" и оно вам скажет, запрещена страничка в вашем роботсе или нет.

Это ведь читали? http://help.yandex.ru/webmaster/?id=996567

Хотя про слэши там не написано явно, afair...

А по проблеме с дублями - обратитесь к любому админу, чтобы настроил редиректы правильно на сервере.

K
На сайте с 04.03.2010
Offline
22
katict
#5
ttrader:
Первый раз вижу такую конструкцию =)
Если сомневаетесь, всегда лучше проверять в яндекс.вебмастере, там специально инструмент есть в "Настройках индексирования", называется "Анализ роботс.тхт". Вбиваете адрес странички, жмете "Анализировать" и оно вам скажет, запрещена страничка в вашем роботсе или нет.

Я как раз и проверила в вебмастере не запретила ли случаем основные страницы. Вебмастер написал, что все ок, но страницы при этом удалил :((

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий