rada, ключи отправлены вчера, сообщите, если не получили
Всего доброго,
Никита Мелькин
Я не понимаю, что нужно сделать. Если просто стоит задача собрать все сайты с каталогом мад-кат, а потом эти сайты уже отдельно проанализировать, то как первую часть задачи реализовать?
Предположим, что по какому-то другому url Google выдаст полностью 1000 результатов (максимальный возможный объем, учитывая ограничение на выдачу). Если мы идем с привязкой к ключевым словам, то это нормально (допустим 10 ключевых слов, 10*1000 результатов, дубли выкинули и получили достаточно большой результат). Если же без привязки - то мы дальше этой 1000 никак не уйдем, в то время как каталогов с таким url может быть гораздо больше
Более того, сейчас заметил, что если в запрос входит inurl:, то гугля категорически отказывается показывать более 100 результатов, выдает что-то вроде "по таким запросам на такую глубину только роботы ищуть, давай ка цифры с картинки :-)" Так что по любому придется разнообразить поиск ключевыми словами, чтобы больше данных собрать
Samplik, серверной части не планируется. Правда будет планировщик с отсылкой отчетов по е-майл, возможно это как-то поможет в решении проблемы.
По поводу индексации Яндексом - не понимаю, в чем может быть дело. Давайте еще раз проект высылайте, будем смотреть.
Я так понимаю здесь задача стоит не получить список сабмитных форм по некоторой заданной тематике, а просто получить список сайтов, на которых какие-либо каталоги есть. Т.е. по сути задача получить выдачу по некоторому запросу (а всякие анализы вероятностей и т.п. здесь уже не нужны). Определение позиций может как раз как парсер выступить :-)
Тут тогда просто задача другого плана получается. Нужно просто любым парсером (хоть тем же модулем Определение позиций) выдрать выдачу по нужным словам и урлам и ее затем уже анализировать вручную
Все равно не понимаю :-) Т.е. допустим у нас сайт автомобильной тематики. По логике как сейчас ищем запрос <автомобиль inurl:add/1> Т.е. получаем список сабмитных страниц так или иначе относящемся к автомобилям.
По вашему предложению нужно сначала выбрать все что есть просто по запросу inurl:add/1? И дальше эти страницы уже анализировать на присутствие в них слова автомобиль либо каких-то спец. признаков? Результаты по запросу inurl:add/1 не радуют своим количеством, http://www.google.ru/search?hl=en&q=inurl%3Aadd%2F1&btnG=Search всего-то около 100 урлов выдается (если пролистать выдачу)
Нет. То, что в разделе "Поиск страниц ссылок" идет с оператором inurl: будет искаться непосредственно (правда этот оператор только с Google работает, но результаты все равно неплохие). Т.е. например задали в ключевых словах "автомобиль", в "Поиск страниц ссылок" - inurl:add=1. В результате программы выкачает следующий список сайтов: http://www.google.com/search?hl=en&lr=&q=%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%BE%D0%B1%D0%B8%D0%BB%D1%8C+inurl%3Aadd%2F1 т.е. как я понимаю то что нужно.
Я навскидку прогнал по нескольким словам автомобильной тематики (машина, авто, автомобиль, джип, киа, мерседес), вот что получилось www.semonitor.ru/example.html. Т.е. в основной своей массе именно те каталоги, которые вам нужны или что-то другое нужно?
Не совсем понял, если честно. Вот такой способ не пойдет?:
1. В настройках ключевых слов задаем нужные нам слова (которые хотим, чтобы были на странице)
2. В страницах "по умолчанию" (там где страницы со стандартными именами ищутся) задаем нужный нам тип урлов оператором inurl: (т.е. что должно присутствовать в урле страницы)
3. Все остальные настройки отключаем.
Как в этом случае пройдет работа программы:
1. Будет выдрана выдача по заданным ключевым словам. В данном контексте она нам не нужна вообще-то, но да ладно.
2. Будет произведен поиск страниц, урл которых содержит заданные фрагменты и заданные ключеые слова (т.е. поиск пройдет по оператору my_keyword_1 inurl:заданный_урл). Эти страницы будут отображены в отчете "Формы по обмену"
Не то, что нужно?
Планировщик в разработке. Думаю в начале февраля будет версия с планировщиком :-)
PS: по всем указанным нововведениям - если какие-то ошибки всплывут, пишите
Обновил бету еще раз, www.semonitor.ru/beta.html
Обмен ссылками:
- проверка индексации Яндексом теперь должна работать;
по другим модулям:
- исправлен старый глюк с экспортом в Эксель, когда изменения позиций отображались как даты;
- в модулях Link Checker и PRAnalyzer исправлена старая ошибка, которая иногда возникала при проверке PageRank большого количества сайтов (>1000). Иногда не все значения PageRank определялись, теперь нормально работает и на больших проектах
- проверка ссылок по Яндексу стала более правильно вестись (теперь проверяется два варианта с www и без)
- добавлен также второй способ проверки ссылок по Яндексу. Как уже говорилось, можно искать ссылки с помощью оператора #link (так стандартно Semonitor искал) и можно так же, как это делает Yandex.Bar. Теперь и второй способ тоже в Semonitor поддерживается
- подправлен алгоритм определения Anchor text в ссылках, теперь в гораздо большем количестве случаев определяется
