Сложно сходу сказать почему это произошло. У вас как-то криво создалась база. В личку ответить не получается, а свое мыло здесь светить не хочу.
Удалите из папки defaults файл с настройками. И запустите скрипт снова. Он попытается создать новую базу данных. Если хотите сохранить имя базы, то предварительно удалите ее с помощью phpmyadmin или другими инструментами mySQL.
Если не поможет, то зарегтесь на моем сайте osxh.ru и дайте сообщение в личку для пользователя vago. Решим проблему.
seo_optimist: Народ, а кто ставил эксперимент и может доказать что дубли 100% влияют на выдачу?! Все мои проверки свелись к тому что Гуглу плевать на дубли. Я конечно понимаю, что народу хочется почистить дубли, код страницы от ошибок, навести полный порядок и радоваться чисто выполненной работе... Я тоже за чистоту и порядок в проектах и считаю что лучше не допускать их, как минимум потому что нагрузка на сервер меньше при сканировании ботами. Канноникал для того и предназначен, но он не поднимет ваш сайт в рейтинге, так же как и избавление от дублей. Зачем мусолить и дальше темы чистки исходного кода и движка от дублей, особенно для сайта у которого всего сотня страниц. Люди, у вас что полезных дел нет?
После устранения дублей можно с уверенностью говорить о росте трафика по НЧ и СЧ на 20-30%, по ВЧ экспериментов не проводил.
---------- Добавлено 18.02.2014 в 03:24 ----------
GK_kranok:
также ругается на повторяющиеся описания и заголовки,
что можно сделать для устранения дублей?
Канонические адреса начинают работать примерно через месяца два после их корректной настройки.
Alender: у меня еще при обновлении Sitemap скрипт бесконечно работает, ждал минут 25, он работал, отрубил (закрыл страницу)...вроде все в базе отразилось - обновилось, но непонятно, почему он "без стопов"...
Я еще раз повторяю, что на тяжелых сайтах не тестировал. У меня из моих сайтов только один есть реально "тяжелый", но мне его делали очень давно на битриксе и так криво, что его легче передлать.
Дайте свой сайт в личку. Поковыряюсь.
---------- Добавлено 08.02.2014 в 17:14 ----------
Выложил обновление 007 от 08 февраля
- добавлен отчет TimeLine (посмотреть изменения в индексации сайта, произошедшие между сканированиями)
- Добавлен режим протоколирования, полученных url в папку debug (при возникновении ошибки записи)
- Мелкие изменения и улучшения, накопившиеся за месяц
Alender: У меня еще в sitemap 19 999 страниц, а в сводном отчете их 20 337,
в конце отчета идут эти добавленные страницы с датой изменения "НД"
они откуда берутся? подтягиваются из Гугла/Яндекса?
Алгоритм скрипта следующий:
В таблицу с именем url записываются и сохраняются ВСЕ url, которые были встречены в sitemap, google и yandex.
В таблицы с именами ПС результаты сканирований со ссылками на записи в таблице url.
Когда формируется сводный отчет, то выводятся ВСЕ записи из таблицы url и сравниваются с последним сканированием. То есть если страницы когда-либо были найдены на сайте, то они будут вылазить в отчете.
НД -нет данных
PS. Гугл и Яндекс способны найти такие страницы на вашем сайте, о которых вы и не подозревали. :)
Не забывайте о дублях и косяках CMS. В сводном отчете вы можете посмотреть где была найдена конкретная страница.
Alender: так может просто в базе увеличить величину поля?
только в какой таблице/ах?
Таблица префикс_url - колонка url
Но я не уверен, что дело в ней. Я только предположил. Через пару часов выложу обновление, где массив адресов дополнительно будет скидываться в текстовый файл, тогда можно будет ловить ошибку.
---------- Добавлено 08.02.2014 в 15:21 ----------
Баста: Дэмо можно посмотреть ?
Демку обновления? Или действующего скрипта?
Ссылка на страницу с "относительно" рабочей версией в первом посте. Обновление выложу через пару часов.
Alender: Использую последнюю версию.
Индексирую по Яндексу.
Выдается ошибка:
Ошибка! записи в таблицу url Duplicate entry 'http://www.itmash.ru/pryor' for key 'url_' Номер ошибки 1062
В карте сайта 19 999 страниц.
Я встречал эту ошибку пару раз, но не смог понять, откуда она берется.
У меня она была при индексации гугла. Самое веселое то, что при повторном получении данных она исчезала, и я не смог ее вычислить. А лимит запросов это сканирование кушает :(
Реально сайты больше 1000 страниц я не тестировал. Сейчас как раз сел доделать скрипт, вставлю ведение лога сканирования. Надеюсь через пару часов закончить. Тогда можно будет разбираться.
Данная ошибка означает, что при записи результатов в выдаче встречены две страницы с одинаковым url. Это возможно если длина url больше 255 символов. Это в принципе возможно, если в реальном адресе идет кириллица.
Ручками и головой. Иногда нужно думать, а не ссылки покупать! :)
Что мешает разбить запрос:
site:www.site.ru/&
На несколько? Например:
site:www.site.ru/folder1/&
site:www.site.ru/folder2/&
Только кривая структура сайта
Она должна быть пустая.
Я не понимаю почему Вы не хотите пересоздать базу.
Попробуйте ручками толкнуть update.php
а потом
add_site.php
- он добавляет сайты для анализа в таблицу config и создает дополнительные таблицы.
Если это не поможет, то уже только завтра смогу плотно посмотреть.
А возможен вариант, когда база уже создана и можно пропустить шаг?
Я не совсем понял вопроса. Там вместе с созданием базы создается таблица config
SQL запрос в файле install1.php строка 91.Скорее всего она у вас и не создалась или создалась криво.
Если она создана правильно, удалите строки в ней и перезапустите скрипт.
Можете помочь?
Сложно сходу сказать почему это произошло. У вас как-то криво создалась база. В личку ответить не получается, а свое мыло здесь светить не хочу.
Удалите из папки defaults файл с настройками. И запустите скрипт снова. Он попытается создать новую базу данных. Если хотите сохранить имя базы, то предварительно удалите ее с помощью phpmyadmin или другими инструментами mySQL.
Если не поможет, то зарегтесь на моем сайте osxh.ru и дайте сообщение в личку для пользователя vago. Решим проблему.
Или скайп vagoms
Народ, а кто ставил эксперимент и может доказать что дубли 100% влияют на выдачу?! Все мои проверки свелись к тому что Гуглу плевать на дубли. Я конечно понимаю, что народу хочется почистить дубли, код страницы от ошибок, навести полный порядок и радоваться чисто выполненной работе... Я тоже за чистоту и порядок в проектах и считаю что лучше не допускать их, как минимум потому что нагрузка на сервер меньше при сканировании ботами. Канноникал для того и предназначен, но он не поднимет ваш сайт в рейтинге, так же как и избавление от дублей. Зачем мусолить и дальше темы чистки исходного кода и движка от дублей, особенно для сайта у которого всего сотня страниц. Люди, у вас что полезных дел нет?
После устранения дублей можно с уверенностью говорить о росте трафика по НЧ и СЧ на 20-30%, по ВЧ экспериментов не проводил.
---------- Добавлено 18.02.2014 в 03:24 ----------
также ругается на повторяющиеся описания и заголовки,
что можно сделать для устранения дублей?
Канонические адреса начинают работать примерно через месяца два после их корректной настройки.
у меня еще при обновлении Sitemap скрипт бесконечно работает, ждал минут 25, он работал, отрубил (закрыл страницу)...вроде все в базе отразилось - обновилось, но непонятно, почему он "без стопов"...
Я еще раз повторяю, что на тяжелых сайтах не тестировал. У меня из моих сайтов только один есть реально "тяжелый", но мне его делали очень давно на битриксе и так криво, что его легче передлать.
Дайте свой сайт в личку. Поковыряюсь.
---------- Добавлено 08.02.2014 в 17:14 ----------
Выложил обновление 007 от 08 февраля
- добавлен отчет TimeLine (посмотреть изменения в индексации сайта, произошедшие между сканированиями)
- Добавлен режим протоколирования, полученных url в папку debug (при возникновении ошибки записи)
- Мелкие изменения и улучшения, накопившиеся за месяц
У меня еще в sitemap 19 999 страниц, а в сводном отчете их 20 337,
в конце отчета идут эти добавленные страницы с датой изменения "НД"
они откуда берутся? подтягиваются из Гугла/Яндекса?
Алгоритм скрипта следующий:
В таблицу с именем url записываются и сохраняются ВСЕ url, которые были встречены в sitemap, google и yandex.
В таблицы с именами ПС результаты сканирований со ссылками на записи в таблице url.
Когда формируется сводный отчет, то выводятся ВСЕ записи из таблицы url и сравниваются с последним сканированием. То есть если страницы когда-либо были найдены на сайте, то они будут вылазить в отчете.
НД -нет данных
PS. Гугл и Яндекс способны найти такие страницы на вашем сайте, о которых вы и не подозревали. :)
Не забывайте о дублях и косяках CMS. В сводном отчете вы можете посмотреть где была найдена конкретная страница.
так может просто в базе увеличить величину поля?
только в какой таблице/ах?
Таблица префикс_url - колонка url
Но я не уверен, что дело в ней. Я только предположил. Через пару часов выложу обновление, где массив адресов дополнительно будет скидываться в текстовый файл, тогда можно будет ловить ошибку.
---------- Добавлено 08.02.2014 в 15:21 ----------
Дэмо можно посмотреть ?
Демку обновления? Или действующего скрипта?
Ссылка на страницу с "относительно" рабочей версией в первом посте. Обновление выложу через пару часов.
Использую последнюю версию.
Индексирую по Яндексу.
Выдается ошибка:
Ошибка! записи в таблицу url Duplicate entry 'http://www.itmash.ru/pryor' for key 'url_' Номер ошибки 1062
В карте сайта 19 999 страниц.
Я встречал эту ошибку пару раз, но не смог понять, откуда она берется.
У меня она была при индексации гугла. Самое веселое то, что при повторном получении данных она исчезала, и я не смог ее вычислить. А лимит запросов это сканирование кушает :(
Реально сайты больше 1000 страниц я не тестировал. Сейчас как раз сел доделать скрипт, вставлю ведение лога сканирования. Надеюсь через пару часов закончить. Тогда можно будет разбираться.
Данная ошибка означает, что при записи результатов в выдаче встречены две страницы с одинаковым url. Это возможно если длина url больше 255 символов. Это в принципе возможно, если в реальном адресе идет кириллица.
В некоторых CMS (криво настроенных) комментарии для гугла являются дублями. Проблема может быть в этом.