Скрипт для анализа индексации сайтов

Дык и предудущая проблема с ошибкой была просто казусом. Скрипто, весь в исходниках и неплохо откомментирован и любой, кто знает php и sql на начальном уровне его может спокойно править.

Там, был повторный вызов файла include.php . Ряд сборок php такую ошибку считают предупрежением, а не ошибкой. Вот и был косяк. Просто нужно было удалить одну строку.

Сейчас удалось запустить?

vagogrande, спасибо. Вроде как удалось. Будем тестировать.

Тоже попробую, давно искал такую весь!

По поводу больших сайтов. Как я уже писал существует ограничение по YandexXML в количестве доступных запросов.

Нет обработки capcha.

И возможна проблема с длительностью работы скрипта на вашем локальном сервере. Лечится увеличением времени в параметре (и конечно оптимизацией скрипта :) ).

max_execution_time =

в файле php.ini. После изменения, не забудьте перезапустить сервер.

PS. Обнаружил еще один мелкий косяк. Исправил.

Что важно при обновлениях.

Архив можно распаковывать в любую папку. Потом для восстановления доступа с собранным материалам достаточно перенести файл default/default.php в данную папку. При распаковке в текущую папку обнаружил, что некоторые архиваторы его могут затирать. В данном файле хранится имя вашей базы данных, логин и пароль к MySqL. Если Вы его случайно затерли создайте новую БД и потом в этом файле ручками пропишите имя старой базы.

Fatal error: Call to a member function fetch_all() on a non-object in Z:\home\test1.ru\ on line 252

Устанавливал как было написно

У меня не получается повторить данную ошибку. В какой момент она произошла? Вы успели создать БД? Ввести в нее хотя бы один сайт? Или с самого начала?

-Сохраните файл default/defaul.php

- Скачайте и распакуйте в этот же каталог новую версию 0.005

Запустите.

Если ошибка повториться (номер строки поменяется):

- переместите файл default/defaul.php в другое место

- введите заново данные

Если ошибка останется, то мне нужны будут значения полей в таблице БД config (можно получить через phpMyAdmin). Если исчезнет, то удалите старую БД в том же phpMyAdmin.

Обновил скрип v0.006.

-Пофиксил мелкие баги

-Добавил в отчеты сортировку и фильтры.

Для обновляющихся. Имеет смысл скопировать скрипты в новую папку, а потом из старой копии скопировать файл конфигурации default/default.php

Использую последнюю версию.

Индексирую по Яндексу.

Выдается ошибка:

Ошибка! записи в таблицу url Duplicate entry 'http://www.itmash.ru/pryor' for key 'url_' Номер ошибки 1062

В карте сайта 19 999 страниц.

Я встречал эту ошибку пару раз, но не смог понять, откуда она берется.

У меня она была при индексации гугла. Самое веселое то, что при повторном получении данных она исчезала, и я не смог ее вычислить. А лимит запросов это сканирование кушает :(

Реально сайты больше 1000 страниц я не тестировал. Сейчас как раз сел доделать скрипт, вставлю ведение лога сканирования. Надеюсь через пару часов закончить. Тогда можно будет разбираться.

Данная ошибка означает, что при записи результатов в выдаче встречены две страницы с одинаковым url. Это возможно если длина url больше 255 символов. Это в принципе возможно, если в реальном адресе идет кириллица.

Дэмо можно посмотреть ?