Key Collector - автоматизированная система анализа семантического ядра. Часть 8.

cetegus, ....

А также http://www.key-collector.ru/news/wordstat-api.php

Не могу понять.

Возможно ли собирать поисковые запросы с открытых счетчиков liveinternet чужих сайтов в программе?

Можно, нужно знать лишь их адреса.

Спасибо, разобрался.

Уважаемые разработчики.

Интересует Ваше мнение и возможность внедрения в функционал программы.

Во всех многословных ключах есть возможность перестановки слов, что порождает массу однотипных ключей по сути:

купить слона
слона купить

никакими частотностями пробить наиболее употребимый вариант - не представляется возможным.

Но, есть одно но, которое я только заметил:

и

т.е. мы видим, что независимо от чередования слов в запросе, в левой колонке в обоих случаях запросы начинаются на "купить", что и является более логичным вариантом.

Т.е. я предлагаю продумать механизм, что бы программа могла на автомате таким образом отбирать более логичные варианты ключевых фраз.

Еще несколько примеров:

http://wordstat.yandex.ru/?cmd=words&page=1&t=%D0%B0%D1%80%D0%B5%D0%BD%D0%B4%D0%B0+%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%BE%D0%B1%D0%B8%D0%BB%D1%8F+%D0%B2+%D0%BC%D0%BE%D1%81%D0%BA%D0%B2%D0%B5&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

http://wordstat.yandex.ru/?cmd=words&page=1&t=%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%BE%D0%B1%D0%B8%D0%BB%D1%8C+%D0%B0%D1%80%D0%B5%D0%BD%D0%B4%D0%B0+%D0%B2+%D0%BC%D0%BE%D1%81%D0%BA%D0%B2%D0%B5&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

http://wordstat.yandex.ru/?cmd=words&page=1&t=%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%B6%D0%B0+%D0%BA%D0%B2%D0%B0%D1%80%D1%82%D0%B8%D1%80&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

http://wordstat.yandex.ru/?cmd=words&page=1&t=%D0%BA%D0%B2%D0%B0%D1%80%D1%82%D0%B8%D1%80%D0%B0+%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%B6%D0%B0&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

http://wordstat.yandex.ru/?cmd=words&page=1&t=%D0%B8%D0%B7%D0%B3%D0%BE%D1%82%D0%BE%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5+%D1%81%D0%B0%D0%B9%D1%82%D0%BE%D0%B2&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

http://wordstat.yandex.ru/?cmd=words&page=1&t=%D1%81%D0%B0%D0%B9%D1%82+%D0%B8%D0%B7%D0%B3%D0%BE%D1%82%D0%BE%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

ну вот уже на продаже квартир данная методика дала осечку, т.к. есть и квартира продажа, и продажа квартир, но тут нам на помощь приходит как раз морфология

http://wordstat.yandex.ru/?cmd=words&page=1&t=%22%21%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%B6%D0%B0+%21%D0%BA%D0%B2%D0%B0%D1%80%D1%82%D0%B8%D1%80%22&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

http://wordstat.yandex.ru/?cmd=words&page=1&t=%22%21%D0%BA%D0%B2%D0%B0%D1%80%D1%82%D0%B8%D1%80%D0%B0+%21%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%B6%D0%B0%22&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

которая говорит - пользуй это для анализа :)

Т.Е. программа как бы и не диктует что именно использовать, но и второй колонкой частотки говорит, что эффективней будет то самое о чем речь.

http://wordstat.yandex.ru/?cmd=words&page=1&t=%22%21%D0%B0%D1%80%D0%B5%D0%BD%D0%B4%D0%B0+%21%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%BE%D0%B1%D0%B8%D0%BB%D1%8F+%21%D0%B2+%21%D0%BC%D0%BE%D1%81%D0%BA%D0%B2%D0%B5%22&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

http://wordstat.yandex.ru/?cmd=words&page=1&t=%22%21%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%BE%D0%B1%D0%B8%D0%BB%D1%8C+%21%D0%B0%D1%80%D0%B5%D0%BD%D0%B4%D0%B0+%21%D0%B2+%21%D0%BC%D0%BE%D1%81%D0%BA%D0%B2%D0%B5%22&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

Ну и кроме того, Вы используете разные словоформы, разные числа (множественное и единственное). Какими бы эти запросы не были "типа-одними", но для Яндекса и для выдачи, в большинстве случаев, они остаются разными.

Другой вопрос, что не всегда "!" - это вариант, например, когда действительно перестановка слов

http://wordstat.yandex.ru/?cmd=words&page=1&t=%22%21%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0+%21%D1%81%D0%B0%D0%B9%D1%82%D0%B0%22&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

http://wordstat.yandex.ru/?cmd=words&page=1&t=%22%21%D1%81%D0%B0%D0%B9%D1%82%D0%B0+%21%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0%22&geo=0&text_geo=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C+%D0%A1%D0%9D%D0%93+%28%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B0%D1%8F+%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8E%29%2C+%D0%95%D0%B2%D1%80%D0%BE%D0%BF%D0%B0%2C+%D0%90%D0%B7%D0%B8%D1%8F%2C+%D0%90%D1%84%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%AE%D0%B6%D0%BD%D0%B0%D1%8F+%D0%90%D0%BC%D0%B5%D1%80%D0%B8%D0%BA%D0%B0%2C+%D0%90%D0%B2%D1%81%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D1%8F+%D0%B8+%D0%9E%D0%BA%D0%B5%D0%B0%D0%BD%D0%B8%D1%8F

и тут уже сложней, тут либо головой, либо руками ( http://www.key-collector.ru/release_notes/2-6-73.php ) выбирать форму запроса, т.к. по приведенному выше тексту все-равно нельзя назвать единной, с точки зрения ПС.

- http://yandex.ru/yandsearch?clid=9582&text=%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0+%D1%81%D0%B0%D0%B9%D1%82%D0%B0&lr=213

- http://yandex.ru/yandsearch?clid=9582&text=%D1%81%D0%B0%D0%B9%D1%82%D0%B0+%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0&lr=213

К сожалению, пока что, какого-то верного алгоритма я не видел, который дотошно и точно показывал бы нужную форму.

Что это за ошибка и как от нее избавиться?

ошибка NetworkMethods.LoadPage: The operation has timed out

И еще, какой диапозон таймаута ставить, чтобы вообще не было каптч? Сейчас стоит нижний таймаут в 3500, 1 поток.

goliafz, По техническим вопросам просим обращаться через тикет-систему, в техническую поддержку http://www.key-collector.ru/user-support.php

Подробнее, о том как это сделать - http://www.key-collector.ru/news/support-how-to-use.php

Господа, а что ваще делать нужно, чтобы такое не повторилось при использовании КиКоллектора?

cetegus, использовать прокси-серверы, использовать парсинг через директ http://www.key-collector.ru/usage.php#yandexdirect_writewordstat , использовать APISHops, варианты есть, нужно только выбрать.