Создаю программу для массовой проверки SEO параметров сайтов

kolchakA
На сайте с 19.06.2010
Offline
226
741

На данный момент занимаюсь разработкой приложения для массовой оценки SEO параметров сайтов. Меня интересует какими точно операторами (и для Яндекса, и для Google) можно узнать проиндексирована ли конкретная страница. Я раньше думал что это можно делать с помощью оператора site:. Но представим следующую ситуацию. Есть сайт, содержащий следующие страницы:

http://site.ru/section1/

http://site.ru/section1/page1.html

http://site.ru/section1/page2.html

Допустим, мы вводим (в одной из ПС) запрос site:http://site.ru/section1/ . При этом в выдаче будет не только страница http://site.ru/section1/ , то и ее подстраницы, содержащие ее URL в своем (конечно если они проиндексированы):

http://site.ru/section1/

http://site.ru/section1/page1.html

http://site.ru/section1/page2.html

С одной стороны, можно определять индексацию по наличию элементов в выдаче по запросу site:. Но если в данной ситуации основная страница проиндексирована не будет, а отсальные будут:

http://site.ru/section1/page1.html

http://site.ru/section1/page2.html

Что делать тогда? Я подумал что можно проверять первый элемент выдачи - совпадает ли его ссылка с проверямой страницей. Однако на тестируемом мною сайте в Яндексе была следующая картина при запросе site:http://site.ru/section1/:

http://site.ru/section1/page1.html

http://site.ru/section1/

http://site.ru/section1/page2.html

В Google же основная страница http://site.ru/section1/ была на первом месте, но не факт что это так в 100% случаев. Я уже думаю, что для того чтобы найти золотую середину (между ресурсами необходимыми для проверки и ее точностью) - оценивать первые 10 результатов и искать в них точную ссылку на проверямую страницу. А что скажете вы?

Автоматизация для SEO : подключение API, пайпланы из нескольких сервисов, AI генерация контента
fivefinger
На сайте с 27.01.2011
Offline
87
#1

Для Яндекса url:http://site.ru/section1/page1.html, а для Google cache:http://site.ru/section1/page1.html

EvilMinds - пока другие делают вид, мы работаем на результат. (/ru/forum/936293)
kolchakA
На сайте с 19.06.2010
Offline
226
#2
fivefinger:
Для Яндекса url:http://site.ru/section1/page1.html, а для Google cache:http://site.ru/section1/page1.html

по яндексу понял, а по google хотел уточнить - может ли быть такое, что страница проиндексирована, но не кеширована?

kolchakA добавил 30.09.2011 в 13:44

Еще вопросик - знает ли кто нибудь алгоритм проверки на присутствие сайта в Яндекс Каталоге?

fivefinger
На сайте с 27.01.2011
Offline
87
#3
kolchakA:

Еще вопросик - знает ли кто нибудь алгоритм проверки на присутствие сайта в Яндекс Каталоге?

http://search.yaca.yandex.ru/yca/cy/ch/site.ru

S
На сайте с 06.05.2008
Offline
57
#4
kolchakA:

Еще вопросик - знает ли кто нибудь алгоритм проверки на присутствие сайта в Яндекс Каталоге?

Наличие в каталоге можно узнать через Яндекс бар

Рыболовный интернет-магазин BigFish (http://bigfish-shop.biz/)
Y1
На сайте с 06.02.2011
Offline
59
#5

kolchakA, лучше и по каталогу смотреть и по бару. При проверке через каталог не отображается тематика сайта, если сайт в т.н. "скрытой части" ЯК (т.е. формально сайт не в каталоге, но тематика и регион присвоены).

Запрос по бару на примере данного форума:

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий