Как минимум трое человек спрашивало эту фичу: появилась проверка количества проиндексированных страниц сайта/поддиректории в Яндексе :)
Если общий список страниц сайта есть, то проиндексированные выдрать легко :) Ссылка в подписи :)
Если общего списка нет, то сперва через любой подходящий sitemap-генератор их выдернуть 8)
Если список ссылок соберёте (вроде как большинство софтин для генерации sitemap это умеют), то я могу дать программку (/ru/forum/511667), которая проверит каждую страницу на индексацию в яше/гугле. Многопоточно, через прокси :) Заодно может и PR собрать.
Вам нужно одноразово или для многих сайтов? Вторую половину проблемы можно решить :)
bolyk, да, конечно, можно сразу обращаться по координатам, указанным в первом сообщении :)
mlu добавил 17.09.2010 в 14:35
Добавил проверку наличия указанных страниц в индексе Google и проверку количества проиндексированных страниц для домена/поддиректории в Google. Документация обновлена на сайте. Итого программа умеет уже следующее:
* проверка Google PageRank у доменов и конкретных страниц
* проверка на склейку домена в Google (с информацией о зеркалах) для доменов
* проверка в Yandex на тИЦ, склейку (с информацией о зеркалах), наличие в Яндекс.Каталоге для доменов и конкретных страниц
* Whois-запросы по домену с полной информацией (простейшим скриптом выдёргивается владелец, дата регистрации и прочее)
* DNS-запросы на резолв A,MX,CNAME,NS-записей для доменов (позволяет получить информацию о нейм-серверах, хостинге и прочем)
* любые HTTP-запросы по списку ссылок (с помощью простейших скриптов можно организовать массовую проверку наличия своих ссылок на страницах, поиск сайтов на определённых движках, поиск общего владельца у разных сайтов по скриптам Google Analytics, Google Adsense и так далее)
* проверка в Yahoo (бэклинки и кол-во проиндексированных страниц)
* проверка ключевых слов/фраз на количество результатов в поиске Google.
* встроенный http-сервер, который отдаёт только что проверенные и 100% рабочие списки прокси. Соответственно, появился режим работы в качестве программы, которая сама скачивает прокси-листы из разных источников, проверяет их и рабочие прокси даёт скачать по http-ссылке для своих нужд. Например, её можно запустить в фоне на своём VPS/VDS и забирать оттуда на работу/домой актуальные и всегда 100% рабочие прокси.
* проверка индексации страниц в Yandex
* проверка индексации страниц в Google
* проверка количества проиндексированных страниц в Google
http://cp.pluxy.com/wiki/
Появилась проверка индексации страниц в Yandex, документация обновлена, скачать по-прежнему можно тут: http://cp.pluxy.com/wiki/
klimuk она взяла, но вот сказала, что потом потестит. Я могу Вам дать, это ж быстро и бесплатно :)
Ага, апа нет, но за 51 день 10.6% доменов (из 1300000 проверенных) поменяли свой pr во все стороны :)
Проверил 1.3 миллиона доменов 2 уровня в зоне .ru, примерно 138 тысяч изменений, т.е. около 10% между 2010.07.26 и 2010.09.15.
Для тех, кому интересно:
http://cp.pluxy.com/dl/pr-20100726-20100915.rar
Файлик в формате "старый pr; новый pr; домен"
wildan, спасибо за отзыв. С интерфейсом настроек небольшие проблемы: настроек слишком много, из-за постоянной доработки софта, они часто меняются и их красивое редактирование мышкой в UI отнимает слишком много времени :( Но сейчас существует промежуточное решение в виде отдельного редактора :)
spambot, тоже спасибо :) Проблема поиска прокси успешно решается самим софтом, ему достаточно указать источники, из которых надо забирать прокси, остальное он сделает сам :)
Удивительно, всё еще бесплатно :)
