Согласен. Просто в примере с которого брал информацию так закрывалось. Все мозги уже едут. Изменил на Disallow: /?
Да это интересный факт. Нашел инфу что юкоз генерирует дубли вида на конце /?ssid= поэтому закрыл в роботсе Disallow: /?ssid=
Только для главной 213 дублей выдал гугл с такими окончаниями. Ужас
Согласен явный дубль. Подскажи пожалуйста как ты его нашел?---------- Добавлено 01.07.2013 в 23:55 ----------
Спасибо. Эх раньше бы кто надоумил. а то сколько сайтов и инфы перелопатил впустую по теме.
Ладно спалю сайт. Эксперимент с роботсом провел пока только с одним разделом и только для Яндекса. Попробуйте найти индексируемые дубли в этом разделе http://ukraina-krym.com/news
Со слешем на конце дубли не принимаются (эта проблема не решается)
Другие СМС только осваиваю и к тому же переносить 5000 страниц в сезон это глупо по моему. Осенью планирую, если сумею до этого времени понять Друпал
Ну при таком сомнении могу поправится: дубли конечно будут, но все запрещены в роботсе.
Единственное, что мне пока не удалось победить это эдентичные url со слешем и без. Но здесь поисковые системы, как я уже выяснил гуманны к ucoz.
Удалось спрятать в noindex страницы на которых еще нет материала (к примеру страницы категорий в доске объявлений)
Спасибо, но я разобрался уже сам. 2 года не мог понять правил формирования роботса, а вчера-сегодня нашло озарение (и попались хорошие статьи). Все сделал и в вебмастере проверил. Все что мне нужно в индексе, все что не нужно запрещено. Я сам в шоке. Ура больше не будет дублей.
У них прописаны просто названия городов, но это не правильное структурирование анкоров категорий. Просто этот косяк им видно прощен поисковиками ввиду хорошей раскрутки данных страниц (много ссылок)
Это правильная ориентация, но к сожалению Яша так не считает. За дубли я под АГС попал в середине июня. И в сезонную тематику сижу исключительно на трафике Гугла. Знаете как обидно. Это у них называется манипулирование поисковой выдачей.
P/S. Да простят меня пресловутые сотрудники яндекса которые прочитают это сообщение и вычислят мой сайт. Но, как они сами меня вынудили, теперь придется делать сайт не для людей, а для Яндекса.
Так и сделаю. Один косяк что UCOZ генерирует карту автоматически и как я замечаю с задержкой. Сегодня добавленные материалы могут попасть в карту только дня через 3-4 (проверял), что для новостей допустим совсем не приемлимо.
Прописывать карту в ручную? вообще не выход (каждый день материалов по 5-10 появляется). Как быть в таком случае?
