Ладно спалю сайт. Эксперимент с роботсом провел пока только с одним разделом и только для Яндекса. Попробуйте найти индексируемые дубли в этом разделе http://ukraina-krym.com/news
Со слешем на конце дубли не принимаются (эта проблема не решается)
cheredov: Можно добавить к дублям <link rel="canonical" href="news/1"/>
или в роботсе
Disallow: /news/2
...
Disallow: /news/19
:)
Спасибо, но я разобрался уже сам. 2 года не мог понять правил формирования роботса, а вчера-сегодня нашло озарение (и попались хорошие статьи). Все сделал и в вебмастере проверил. Все что мне нужно в индексе, все что не нужно запрещено. Я сам в шоке. Ура больше не будет дублей.
У них прописаны просто названия городов, но это не правильное структурирование анкоров категорий. Просто этот косяк им видно прощен поисковиками ввиду хорошей раскрутки данных страниц (много ссылок)
87793: Ну, я всё-таки ориентируюсь не на то, что в этих страницах будет общее, а на то, что в них будет разное :).
С какой это радости они будут дублями? 😕
Это правильная ориентация, но к сожалению Яша так не считает. За дубли я под АГС попал в середине июня. И в сезонную тематику сижу исключительно на трафике Гугла. Знаете как обидно. Это у них называется манипулирование поисковой выдачей.
P/S. Да простят меня пресловутые сотрудники яндекса которые прочитают это сообщение и вычислят мой сайт. Но, как они сами меня вынудили, теперь придется делать сайт не для людей, а для Яндекса.
buninsan: поисковый бот найдет ваши статьи по карте сайта, иди по ссылкам меню, а страницы с одинаковыми метатегами лучше закрыть от индексации
Так и сделаю. Один косяк что UCOZ генерирует карту автоматически и как я замечаю с задержкой. Сегодня добавленные материалы могут попасть в карту только дня через 3-4 (проверял), что для новостей допустим совсем не приемлимо.
Прописывать карту в ручную? вообще не выход (каждый день материалов по 5-10 появляется). Как быть в таком случае?
а почему не
Disallow: /?
Согласен. Просто в примере с которого брал информацию так закрывалось. Все мозги уже едут. Изменил на Disallow: /?
я его создал :)
угадай что можно ещё после ? дописать 😂
Да это интересный факт. Нашел инфу что юкоз генерирует дубли вида на конце /?ssid= поэтому закрыл в роботсе Disallow: /?ssid=
Только для главной 213 дублей выдал гугл с такими окончаниями. Ужас
АлексейК, http://ukraina-krym.com/news/vladelcu_nezakonno_zakhvachennogo_uchastka_grozit_uzhe_tjuremnoe_zakljuchenie/2013-06-24-381?nmm
это фигня, которую всё-таки можно закрыть, но вот в чём проблема - в индексе они будут появляться при каждом глюке ибо ссылки на страницы остались
Согласен явный дубль. Подскажи пожалуйста как ты его нашел?
---------- Добавлено 01.07.2013 в 23:55 ----------
АлексейК, посмотрите вот эту тему.
Там неплохая статья по ссылке.
Спасибо. Эх раньше бы кто надоумил. а то сколько сайтов и инфы перелопатил впустую по теме.
это в принципе не возможно ;)
Ладно спалю сайт. Эксперимент с роботсом провел пока только с одним разделом и только для Яндекса. Попробуйте найти индексируемые дубли в этом разделе http://ukraina-krym.com/news
Со слешем на конце дубли не принимаются (эта проблема не решается)
АлексейК, зачем тебе этот юкоз сдался?? почему ты мучаешься?)
Другие СМС только осваиваю и к тому же переносить 5000 страниц в сезон это глупо по моему. Осенью планирую, если сумею до этого времени понять Друпал
это-то на говнокозе 😂
сколько дублей вам завернуть? 🤪
Ну при таком сомнении могу поправится: дубли конечно будут, но все запрещены в роботсе.
Единственное, что мне пока не удалось победить это эдентичные url со слешем и без. Но здесь поисковые системы, как я уже выяснил гуманны к ucoz.
Удалось спрятать в noindex страницы на которых еще нет материала (к примеру страницы категорий в доске объявлений)
Можно добавить к дублям <link rel="canonical" href="news/1"/>
или в роботсе
Disallow: /news/2
...
Disallow: /news/19
:)
Спасибо, но я разобрался уже сам. 2 года не мог понять правил формирования роботса, а вчера-сегодня нашло озарение (и попались хорошие статьи). Все сделал и в вебмастере проверил. Все что мне нужно в индексе, все что не нужно запрещено. Я сам в шоке. Ура больше не будет дублей.
У них прописаны просто названия городов, но это не правильное структурирование анкоров категорий. Просто этот косяк им видно прощен поисковиками ввиду хорошей раскрутки данных страниц (много ссылок)
Ну, я всё-таки ориентируюсь не на то, что в этих страницах будет общее, а на то, что в них будет разное :).
С какой это радости они будут дублями? 😕
Это правильная ориентация, но к сожалению Яша так не считает. За дубли я под АГС попал в середине июня. И в сезонную тематику сижу исключительно на трафике Гугла. Знаете как обидно. Это у них называется манипулирование поисковой выдачей.
P/S. Да простят меня пресловутые сотрудники яндекса которые прочитают это сообщение и вычислят мой сайт. Но, как они сами меня вынудили, теперь придется делать сайт не для людей, а для Яндекса.
поисковый бот найдет ваши статьи по карте сайта, иди по ссылкам меню, а страницы с одинаковыми метатегами лучше закрыть от индексации
Так и сделаю. Один косяк что UCOZ генерирует карту автоматически и как я замечаю с задержкой. Сегодня добавленные материалы могут попасть в карту только дня через 3-4 (проверял), что для новостей допустим совсем не приемлимо.
Прописывать карту в ручную? вообще не выход (каждый день материалов по 5-10 появляется). Как быть в таком случае?