Автоматизация анализа поисковых запросов.

S
На сайте с 13.03.2009
Offline
49
574

Прошу прощения, но в технологиях продвижения сайтов новичек. Поэтому возможно изобретаю велосипед.

Речь пойдет про составление семантического ядра. Всем известен сервис Яндекса для анализа статистики запросов. Он выдает прогноз на количество запросов по указанной фразе на следующий месяц. Чтобы включить фразу в ядро оптимизируемого сайта этой информации может оказаться недостаточно. Вполне возможно конкуренция по этому запросу будет очень высокой. Вероятно нужно анализировать сайты из выдачи яндекса по этой фразе. Попробовав это делать столкнулся с продолжительными рутинными операциями. В Excel-e после составления списка фраз возможного ядра анализировал десятку выдачи яндекса по каждой фразе и заносил следующие данные в таблицу:

- ТИЦы конкурентов.

- Количество ссылающихся на конкурентов ресурсов.

- Делал анализ конкурирующих страниц на вес ключевых фраз. Ксати не смог найти бесплатной программы или сервиса, который анализировал бы вес не только по одному слову, но и по фразе.

В результате таблица получается объемной и время на её составление требуется довольно много. Решил написать скрипт, позволяющий хоть как-то оптимизировать эту процедуру.

Прошу оценить полезность этого скрипта и поправить меня если что-то делаю не так. Скрипт работает пока только с яндексом. Работает в щедящем режиме в один поток. Так же есть ограничения на количество запросов с одного ip-адреса. Скрипт позволяет делать запрос по фразе, а также анализировать страницу по ссылке. Приблизительная продолжительность запроса по одной фразе 30 секунд.

Собственно вот:

http://toptun.gtst.com.ru

l: toptun

p: потоптать (в латинской раскладке)

Если есть какие-то ресурсы или программы, которые позволяют это сделать проще или эффективней, то буду признателен за ссылки.

W
На сайте с 16.10.2008
Offline
142
#1
starki:
Делал анализ конкурирующих страниц на вес ключевых фраз. Ксати не смог найти бесплатной программы или сервиса, который анализировал бы вес не только по одному слову, но и по фразе.

Что Вы подразумеваете под весом ключевого слова на страницах сайта?

starki:
Всем известен сервис Яндекса для анализа статистики запросов. Он выдает прогноз на количество запросов по указанной фразе на следующий месяц. Чтобы включить фразу в ядро оптимизируемого сайта этой информации может оказаться недостаточно. Вполне возможно конкуренция по этому запросу будет очень высокой.

Для опытного оптимизатора этих данных вполне достаточно и для определения конкурентности слова и для расчёта требуемого бюджета, а для новичков поможет пока только книги и данный форум, как будут определённые представления, можно переходить к практики.

Миледи: интернет-магазин украшений с природными камнями (https://milady-24.ru/)
S
На сайте с 13.03.2009
Offline
49
#2
Webexpert:
Что Вы подразумеваете под весом ключевого слова на страницах сайта?

К примеру, собираюсь оптимизировать сраницу своего сайта по какой-то фразе. Получаю из выдачи яндекса страницу кнокурента. Выделяю из этой страницы тектсы из title, keywords, description, alt. Удаляю теги, знаки припинания, предлоги, однобуквенные слова, слова, содержащие цифры. В результате получаю цепочку слов страницы, разделенную пробелами. Из рядом стоящих слов составляю все комбинации фраз по нужному количеству слов в фразе. Полученное число фраз - 100% Рассчитываю сколько раз каждая фраза повторяется в общем массиве. Рассчитываю процент повторения каждой фразы. Полученные значения называю весом фразы.

W
На сайте с 16.10.2008
Offline
142
#3
starki:
Рассчитываю процент повторения каждой фразы. Полученные значения называю весом фразы.

Это не вес фразы, а плотность ключевого слова на странице сайта.

Думаю, Вам будет интересно посмотреть возможности вот этого сервиса - www.seolib.ru

A7
На сайте с 02.07.2008
Offline
47
#4

Что то странно он подсчитывает.

Он подсчитывает количество фраз в тексте и тегах или только в тегах?

У меня на некоторых фразах непонятные результаты

W
На сайте с 16.10.2008
Offline
142
#5
Axiom777:
Что то странно он подсчитывает.
Он подсчитывает количество фраз в тексте и тегах или только в тегах?
У меня на некоторых фразах непонятные результаты

Возникшие вопросы Вам лучше уточнять у службы поддержки.

Подсчитывае точные вхождения ключевых слов (и в тегах) на странице сайта.

S
На сайте с 13.03.2009
Offline
49
#6
Axiom777:
Что то странно он подсчитывает.
Он подсчитывает количество фраз в тексте и тегах или только в тегах?
У меня на некоторых фразах непонятные результаты

Если подробнее, то алгоритм следующий:

1. Вытаскиваем текст из мета-тегов title, keywords, description, author, copyright

2. Вытаскиваем содержимое body и далее работаем только с ним

3. Вытаскиваем alt из img

4. Вытаскиваем title и текст из <a>

5. Удаляем все оставщиеся теги <> со вложенным содержимым, оставляя только текст разделенный пробелами

6. Удаляем односимвольные слова, слова содержащие цифры, знаки препинания и служебные символы, предлоги по списку, лишние пробелы - на выходе только текст разделенный пробелами.

7. Разбивка на фразы в зависимости от указанного числа слов в фразе.

8. Делаем морфологическую обработку массива фраз в зависимости от установленного чекбокса.

9. Дальше рассчет повторений фраз и итоговый рассчет их плотности.

Вот как-то так.

starki добавил 24.03.2009 в 16:18

Открыли глаза на некорректный рассчет веса фраз на некоторых страницах. Как оказалось иногда авторы страниц не закрывают тег <body>. Поправил парсер. Теперь берётся всё после <body>, а не между.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий