Скрипт создания карты сайта с проверкой индексации

Доброго времени.

Столкнулся с проблемой монетизации собственных сайтов.

Суть проблемы заключалась в том, что при добавлении сайта в SAPE, система находила множество страниц и после проверки на индексацию (по кнопке YAP) оставалось совсем не много.

Например SAPE находила на сайте 1500 страниц и после проверки проиндексированных Яндекс, оставалось всего ~200.

Таким образом я стал ломать голову.... Как добавить в SAPE заведомо проиндексированные страницы сайта. Причем так, чтобы SAPE сама кушала их собирая с сайта.

Написал скрипт.

Скрипт генератор карты сайта (SITEMAP)

Проверка карты сайта на индексацию работает следующим образом.

Скрипт собирает из панельки Яндекс вебмастер ссылки проиндексированных страниц сайта и собирает их в карту сайта ХТМЛ. Далее достаточно повесить ссылку в подвале сайта, и SAPE без проблем добавит все страницы.

Скрипту передается 4 параметра:

1. Урл сайта, который будем анализировать. Урл задается в виде http://www.site.ru/ (обязательно со слешем в конце);

2. Логин для доступа в панель Яндекс.Вебмастер;

3. Пароль для доступа в панель Яндекс.Вебмастер;

4. ID хоста анализируемого сайта. Для того, чтобы получить этот ID нужно авторизоваться на webmaster.yandex.ru и посмотреть на какой урл ссылается нужный нам сайт в списке "Мои сайты". Урл будет вида: http://webmaster.yandex.ru/site/?host=3574807, где 3574807 - нужный нам ID.

После того, как скрипт получает все нужные ему параметры, он выполняет следующие действия:

1. Собирает все ссылки с нужного сайта в список;

2. Чистит этот список от:

2.1 Внешних ссылок

2.2 От ссылок-якорей вида blabla.php#comments

2.3 От ссылок типа mailto:, javascript:, skype:

3. Убирает из списка ссылок дубли;

5. Собирает из панели я.вебмастер список проиндексированных страниц;

4. Проверяет список ссылок из карты сайта на наличие в списке проиндексированных страниц. Если ссылка есть в проиндексированных - скрипт берет заголовок страницы <title> и добавляет в карту сайта строку вида:

<a href="http://www.site.ru/" target="_blank">Главная</a><br />

Если ссылки нет среди проиндексированных - пропускает и переходит к следующей ссылке.

5. Создает в папке maps html-файл с картой сайта и выдает пользователю ссылку на этот файл.

Установка скрипта:

Распаковать содержимое архива на сервер, выставить права 777 на папку со скриптом.

Скрипт это один исполняемый файл.

Мне удалось засунуть в SAPE все свои сайты ПОЛНОСТЬЮ (все страницы что присутствуют в индексе Яшки) чего до этого, не получалось сделать никакими другими сайтмапами ибо вперемешку страницы в индексе и те, что не в индексе образуют общую массу которая отсеивается после проверки на индексацию по кнопке YAP. в сапе.

Если кому интересно, обращайтесь. Договоримся.

Топик можно обсуждать, принимаю предложения по улучшению.

Пример работы скрипта.

http://extlinux.ru/crawler2.php

---

Данные никуда не передаются! Хранятся в куках, выдаются Яндекс по запросу.

Тем кто опасается, просьба не заходить по ссылке. Спасибо.

Для всех кому идея интересна, кому может понадобится данный скрипт, обращайтесь, договоримся.