Скрипт для анализа индексации сайтов

так может просто в базе увеличить величину поля?

только в какой таблице/ах?

Таблица префикс_url - колонка url

Но я не уверен, что дело в ней. Я только предположил. Через пару часов выложу обновление, где массив адресов дополнительно будет скидываться в текстовый файл, тогда можно будет ловить ошибку.

---------- Добавлено 08.02.2014 в 15:21 ----------

Демку обновления? Или действующего скрипта?

Ссылка на страницу с "относительно" рабочей версией в первом посте. Обновление выложу через пару часов.

У меня еще в sitemap 19 999 страниц, а в сводном отчете их 20 337,

в конце отчета идут эти добавленные страницы с датой изменения "НД"

они откуда берутся? подтягиваются из Гугла/Яндекса?

Алгоритм скрипта следующий:

В таблицу с именем url записываются и сохраняются ВСЕ url, которые были встречены в sitemap, google и yandex.

В таблицы с именами ПС результаты сканирований со ссылками на записи в таблице url.

Когда формируется сводный отчет, то выводятся ВСЕ записи из таблицы url и сравниваются с последним сканированием. То есть если страницы когда-либо были найдены на сайте, то они будут вылазить в отчете.

НД -нет данных

PS. Гугл и Яндекс способны найти такие страницы на вашем сайте, о которых вы и не подозревали. :)

Не забывайте о дублях и косяках CMS. В сводном отчете вы можете посмотреть где была найдена конкретная страница.

у меня еще при обновлении Sitemap скрипт бесконечно работает, ждал минут 25, он работал, отрубил (закрыл страницу)...вроде все в базе отразилось - обновилось, но непонятно, почему он "без стопов"...

Я еще раз повторяю, что на тяжелых сайтах не тестировал. У меня из моих сайтов только один есть реально "тяжелый", но мне его делали очень давно на битриксе и так криво, что его легче передлать.

Дайте свой сайт в личку. Поковыряюсь.

---------- Добавлено 08.02.2014 в 17:14 ----------

Выложил обновление 007 от 08 февраля

- добавлен отчет TimeLine (посмотреть изменения в индексации сайта, произошедшие между сканированиями)

- Добавлен режим протоколирования, полученных url в папку debug (при возникновении ошибки записи)

- Мелкие изменения и улучшения, накопившиеся за месяц

Приветствую!

Попробовал установить скрипт, создал базу, но потом чистый лист в index.php.

В логах вижу: PHP Fatal error: Call to undefined method mysqli_result::fetch_all() in /home/SiteIndex_008/index.php on line 85

Сама строка 85: $columns=$result->fetch_all();

Можете помочь?

Можете помочь?

Сложно сходу сказать почему это произошло. У вас как-то криво создалась база. В личку ответить не получается, а свое мыло здесь светить не хочу.

Удалите из папки defaults файл с настройками. И запустите скрипт снова. Он попытается создать новую базу данных. Если хотите сохранить имя базы, то предварительно удалите ее с помощью phpmyadmin или другими инструментами mySQL.

Если не поможет, то зарегтесь на моем сайте osxh.ru и дайте сообщение в личку для пользователя vago. Решим проблему.

Или скайп vagoms

А возможен вариант, когда база уже создана и можно пропустить шаг?

Я не совсем понял вопроса. Там вместе с созданием базы создается таблица config

SQL запрос в файле install1.php строка 91.Скорее всего она у вас и не создалась или создалась криво.

Если она создана правильно, удалите строки в ней и перезапустите скрипт.