Программа для проверки индексирования страниц в Я и Г

[Удален]
921

Всем привет!

Посоветуйте, пожалуйста, качественный софт для проверки индексирования ВСЕХ страниц в Я и Г.

Софт должен:

1. Сам загружать все страницы (url) сайта себе в базу. Возможно использование sitemap (причем их несколько) или же своего паука...

2. Отслеживать статусы индексирования страниц в Я и Г.

3. Идеально было бы наличие доп. аналитики - размер страницы (количество символов текста), уникальность и т.п.

Хорошо бы бесплатное что-то, но и заплатить готов разумные деньги.

Главное, чтобы софт был качественный.

Заранее спасибо!

vagogrande
На сайте с 25.02.2012
Offline
110
#1

А мой скрипт совсем гавно?

/ru/forum/829208

Пишите, что нужно доделать, доработаю.

Блеск в его глазах был заревом праздничного салюта, которым его тараканы отметили окончательную победу над разумом
[Удален]
#2
vagogrande:
А мой скрипт совсем гавно?
/ru/forum/829208

Пишите, что нужно доделать, доработаю.

да, смотрел его...

вот это не подходит:

В данной версии файл карты сайта должен иметь имя sitemap.xml и должен находится в корне сайта.

у меня несколько sitemap, т.е. должна быть возможность указать адрес нескольких карт сайта.

также некоторые страницы не находятся в sitemap (их немного правда), поэтому было бы хорошо еще робота собственного иметь...

вы еще писали, что тестировали до 1000 страниц, а на бОльших сайтах? (у меня около 25 000 страниц и постоянно пополняется сайт)...

vagogrande
На сайте с 25.02.2012
Offline
110
#3

sitemap сейчас добавлю. Думаю, что к утру выложу обновление.

А с большими сайтами проблема упирается в количество свободных запросов YandexXML или в капчу.

Писать их обработку пока нет времени. Будет время подумаю.

Я не нашел ничего подобного в сети и поэтому сел писать "под себя" )))

[Удален]
#4

скрипт поставлю...попробую...

но, блин, софта отдельного действительно нет чтоли такого?

задача вроде очень актуальная для всех SEO-шников...

BlueRay
На сайте с 09.03.2011
Offline
38
#5
Alender:

задача вроде очень актуальная для всех SEO-шников...

По-моему вы немного ошибаетесь. Для seo-оптимизаторов актуальна задача отслеживания позиций сайта в выдаче поисковых систем, а уже в рамках решения данной задачи можно отслеживать, что сайт/страница пропала из выдачи и предпринимать меры.

Пишу десктопные и web приложения на C# (ASP.NET MVC) :-) Хотите сказать спасибо или обозвать дураком? Для этого есть репутация, не надо флудить.
vagogrande
На сайте с 25.02.2012
Offline
110
#6
BlueRay:
По-моему вы немного ошибаетесь. Для seo-оптимизаторов актуальна задача отслеживания позиций сайта в выдаче поисковых систем, а уже в рамках решения данной задачи можно отслеживать, что сайт/страница пропала из выдачи и предпринимать меры.

Это утверждение верно, если придерживаться стратегии продвижения ограниченного количества запросов по ВЧ и CЧ. Если делать ставку на трафик получаемый с большого количества НЧ и супер НЧ, то замучаешься отслеживать позиции. Это беспредметный спор о стратегиях продвижения



---------- Добавлено 23.12.2013 в 23:51 ----------

Alender:
скрипт поставлю...попробую...

но, блин, софта отдельного действительно нет чтоли такого?

задача вроде очень актуальная для всех SEO-шников...

Я искал его еще год назад, в том числе и в буржнете. Не нашел.

Но для реально больших сайтов мой скрипт не пройдет. Такой вариант очень сложно реализовать на php его нужно писать на чем то другом. Если я и займусь написанием его модификации для сайтов с количеством страниц больше 10 000, то только после нового года. Там нужен другой алгоритм.

Можете попробовать с ним увеличив время работы скрипта до предела в php.ini, но боюсь все равно упретесь в капчу.

[Удален]
#7
BlueRay:
По-моему вы немного ошибаетесь. Для seo-оптимизаторов актуальна задача отслеживания позиций сайта в выдаче поисковых систем, а уже в рамках решения данной задачи можно отслеживать, что сайт/страница пропала из выдачи и предпринимать меры.

когда речь идет об интернет-магазинах с количеством страниц от 10 000, то это очень актуальная задача...

у меня сейчас из 20 000 страниц Я взял в индекс только около 1000, а гугл проиндексировал почти все....

соответственно надо понимать, что не проиндексировано и работать над попаданием в индекс.

а раскручивать страницу каждого товара не нужно мне, достаточно, чтобы каждый товар был в индексе...

[Удален]
#8
vagogrande:

Я искал его еще год назад, в том числе и в буржнете. Не нашел.
Но для реально больших сайтов мой скрипт не пройдет. Такой вариант очень сложно реализовать на php его нужно писать на чем то другом. Если я и займусь написанием его модификации для сайтов с количеством страниц больше 10 000, то только после нового года. Там нужен другой алгоритм.
Можете попробовать с ним увеличив время работы скрипта до предела в php.ini, но боюсь все равно упретесь в капчу.

у вас база не создается, если уже есть такая на сервере,

а при установке как раз это нужно, т.к. root давать нельзя в целях безопасности...

думаю, чтоит дописать что-то типа CREATE AND REPLACE при создании базы и таблиц...

vagogrande
На сайте с 25.02.2012
Offline
110
#9
Alender:
у вас база не создается, если уже есть такая на сервере,
а при установке как раз это нужно, т.к. root давать нельзя в целях безопасности...

думаю, чтоит дописать что-то типа CREATE AND REPLACE при создании базы и таблиц...

1. root на локальном сервере? А скрипт предназначен именно для них. А то что Open Server и Denver вообще не ставят пароля на root?

2. Если делать CREATE AND REPLACE, то где гарантия, что какой-нибудь "талант" не захочет назвать базу "information_schema" или именем уже существующей базы в которой хранится локальный сайт ?

Я так понял, что Вы ставите какомо-то юзеру на его компьютер и по причине его "компетентности" не хотите давать пароль к root в MySQL? И хотите заранее создать базу со своим логином и паролем?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий