Как получить все страницы в индексе гугл списком?

1. Если я правильно понял-проиндексировать ссылки? Если разные домены - есть программа pingxpertfree. Правда большого эффекта я не увидел. Советуют еще список опубликовать на 1 странице и ее отправить в индекс. Или попробовать на странице хорошего часто посещаемого сайта, где можно написать статью. Но могут забанить.

Если свой домен -для этого должен сработать robots.txt.

2. Если выгрузить все, которые в индексе, то много тем на разных форумах, и на этом тоже. /ru/forum/819135 Достаточно набрать запрос в гугле-куча результатов. предлагают скрипты. сам не пользовался, мне пока это не за чем.

Как вариант, можно попарсить выдачу гугла алсабмитером.

Или content downloader`ом, datacol`ом и любым другим настраиваемым парсером. :)

А бесплатные есть решения?

У меня задача простая - мне нужно понять если в гугле дубли страниц.

Для этого хочу выгрузить таблицу урлов в индексе гугла и сделать визуальный осмотр.

В поисковой строке

site:ваш сайт.

В Яндексе аналогично host:ваш сайт.

Я же спрашиваю решения для табличного вывода - как получить все страницы в индексе гугл списком

В выдаче нереально вычислить дубли.

Во первых она разбита на страницы, во вторых кроме урлов еще и титлы и сниппеты, визуально нереально это сделать.

Нужна таблица csv, xml, xls или просто txt.

Яшколюб (под Я и Г)