Индексация. Дубли.

то есть

1. найти все страницы сайта

2. по всем страницам сайта, найти дубли страниц( у которых одинаковое содержимое? да)

3. проверить те страницы, на проиндексацию в Яндексе и дать список которые не в индексе

Логика такая?

Да, логика такая

rds bar точно показывает

А зачем Вам дубли Ваших страниц? Никто не хочет с ними видеться)

А если они Вам нужны для того чтобы избавиться от них, это уже другой вопрос. Для этого есть ряд мер, с помощью которых можно определить дубли страниц. В общем, всё доступно в Интернете, и зависит от Вашей CMS, от robots.txt и т.д.

footballstar, согласен с вами.

Плюс, если страниц на сайте немного - можно руками пройтись, все пофиксить.

С дублями понятно, конечно можно и вручную, но время... А как найти все страницы,кот не индексируются в яндексе, в вебмастере не выдает. В google проиндексировано 2000, а в яндексе 1000.

---------- Добавлено 25.01.2016 в 00:07 ----------

подскажите какой параметр нужно выставить в настройках, чтобы видеть

попробуйте ручками пройтись, дубли на каждой цмс могут отличаться, т.к. каждая ЦМС работает по разному. На одной к примеру, если в середине урла добавить категорию /<любые символы>/ будут дубли, в другой такого уже нет. Или на статических страницах если что-то с урлами сделать ничего не произойдет, а на динамических окажутся дубли. Так же всё зависит от настроек вашего файла htaccess: стоят ли там все нужные редиректы, например с www на без www и т.д. В теории какая-то программа пройдется по сайту, и допустим найдет дубли, а если страница динамическая, предположим с фильтрами? Вы представляете сколько десятков тысяч вариантов может быть для одной и той же страницы?:) честно говоря, впервые слышу о том, что существует какая-то программа, которая обнаружит дубли страниц., тем более с rds-баре. Быстрее всего сделать всё руками. Потратите час-два, за то опыта наберетесь.

---------- Добавлено 25.01.2016 в 00:15 ----------

Та ладно! Где?

а если страниц 20000 =)

Та какая разница сколько страниц?))) Хоть миллион! Вам нужно их поделить для начала на типы: информационные (статические, т.е. те, у которых нет знака вопроса в конце с цифрами, если говорить очень просто) и динамические, которые имеют знак вопроса и т.д. Далее тестите сначала одни типы урлов, к примеру, если страницы товаров, то тестите страницы товаров. Заходите в любую категорию, и тестите их, к примеру:

добавляя в конце слеш/убирая - смотрите что выходит, проверяете всегда код ответа через bertal.ru. К примеру, удмаю Вы знаете, что урлы со слешом и без слеша для ПС разные. Потом если на страница со слешом и без слеша код ответа 200 и контент не меняется, то это дубли, должен стоять редирект с страницы без слеша на страницу со слешом, или наоборот (смотря каких страниц больше в индексе, проверяется site:domain.com и смотрите визуально).

Таким же макаром проверяете на страницах разделов/категорий/подкатегорий/товаров на с www и без www, doMAIN.com->301->domain.com; domain.com/category/123/podcategory 301->domain.com/categoty/podcategory; domain.com/?sort=filtr1-filtr-3-filtr-2 301-> domain.com/?sort=filtr1-filtr-2-filtr-3 ну и т.д.☝

Спасибо, буду пробовать все варианты.