Ну как вариант можно не только свой маленький сайт проверять, но и всякие жирные площадки, например у ВКонтакте
в москве - 12к страниц
в спб - 5к страниц
а вот в н. новгороде почему-то по нулям
Подборка сервисов по крауду:
http://www.*******.ru/analytics/kraud-marketing-chto-eto-zachem-i-kak-organizovat/
http://seodevice.ru/kraud-marketing/
Диеты, юрка, стройка
Бери Screaming Frog SEO Spider, к ней легко гуглится кейген, мегасофтина
Сдается мне что идти в РСЯ с "эвакуаторы" не самая лучшая затея
Отчасти пожалуй соглашусь. Если очень большой сайт, на который куча трафа с разными utm-метками и есть проблемы с индексацией, то возможно для яндекс есть смысл закрыть через robots.txt. При это для гугла по прежнему надо решать другими способами, либо каноникал, либо х-роботс-тег, либо мета-ноуиндекс.
Если сайт небольшой/средний, то я все равно считаю, что каноникал оптимальное решение для борбы с мусорными url содержащими гет-параметры.
Если все остальные ссылки на сайте реализованы с ЧПУ, то можно.
В Яшке может и спасает, а вот в Гугле нет.
+ на страницу с метками может быть входящая ссылка, через каноникал на основную страницу она будет учитываться, а если в роботс закроешь, то нет.
В этом случае site.ru/cat/produktразныйбред отдает 404 и site.ru/cat/produktразныйбред?разныйбред тоже отдает 404.
Это уже за кривизну сайтов, а не самой идеи каноникала.
Тогда ты не сможешь учитывать данные с utm-меток. Ну или может есть способ настроить редирект со страниц с метками так, чтобы метрика/аналитикс их все равно учитывали? Поделитесь, буду благодарен.
Без доп обработки никак. Но можно просто на сайте не использовать URL с гет-параметрами.---------- Добавлено 20.06.2016 в 13:29 ----------И да, если траблы с индексацией в Яше, то можно прописать
User-agent: Yandex
Disallow: /*?
А для гугла использовать каноникал, т.к. если просто закрыть в роботс, то они все равно будут в индексе гугла с пометкой "закрыт в роботс"
tippula, использовать для пагинации canonical - глупо. По сути единственная задача canonical - это "убивать" все левые GET параметры, типа utm-меток и прочего.
Для борьбы с дублями которые делает CMS использовать canonical тоже глупо, т.к. надо устранять такие дубли физически, чтобы система их не генерила.
Для постраничной навигации надо использовать уникализацию заголовков и мета-тегов, а также rel=next/prev.
XENU морально устарел, юзайте Screaming Frog SEO Spider. Еще как вариант Netpeak Spider, ComparseR.
При чем тут доноры? Если нет ссылок, то тИЦ стал бы 0, но никак не "не определён"
