Количество страниц в Screaming Spider Frog и Netpeak Spider меньше, чем по факту

49

igorbell

8 июня 2017, 11:26

1302

Сайт на поддомене arenda.sirenabus.com, в индексе Яндекса - 3 000 страниц, в индексе Гугла - 1 000 страниц. Спайдеры аля Нетпик спайдера или Скриминг Фрога видят только около 70 страниц, в чем может быть проблема??

139

S.E.R.

8 июня 2017, 14:46

#1

Как один из вариантов - с сайта нет ссылок на нужные разделы/страницы.

А поисковики узнали о них через внешние ресурсы (или ссылки были ранее).

ORIDIS ( http://www.oridis.ru/ ) - разработка и продвижение сайтов | Быстрый и надёжный хостинг ( https://timeweb.com/ru/?i=53597 )

101

Wise.od

8 июня 2017, 15:46

#2

igorbell:
Сайт на поддомене arenda.sirenabus.com, в индексе Яндекса - 3 000 страниц, в индексе Гугла - 1 000 страниц. Спайдеры аля Нетпик спайдера или Скриминг Фрога видят только около 70 страниц, в чем может быть проблема??

Привет!)

Сделайте запрос в Google "site:arenda.sirenabus.com" – вы увидите около 1000 страниц, однако попробуйте пролистать хотя бы до 10 страницы выдачи (то есть до 100-го результата) – у меня не выходит это сделать. Такая ситуация ещё раз напоминает нам, что на первой странице выдачи Google нам говорит о примерном количестве страниц, которое есть в их индексе.

В Netpeak Spider есть функция сканирования сайта из выдачи Google – аналогично, там находится максимум 55 результатов.

Советую попробовать узнать у разработчиков сайта, какие ещё страницы были предусмотрены, потому что во внутренней структуре их просто нет, они не перелинкованы с доступными страницами сайта.

E

283

easywind

11 июня 2017, 11:33

#3

igorbell, в консоли вебматсера гугла "статус индексирования" что показывает?

I

49

igorbell

19 июня 2017, 09:01

#4

easywind:
igorbell, в консоли вебматсера гугла "статус индексирования" что показывает?

Добрый день! Ниже скрин

http://take.ms/UOk20

---------- Добавлено 19.06.2017 в 12:43 ----------

Wise.od:
Привет!)

Сделайте запрос в Google "site:arenda.sirenabus.com" – вы увидите около 1000 страниц, однако попробуйте пролистать хотя бы до 10 страницы выдачи (то есть до 100-го результата) – у меня не выходит это сделать. Такая ситуация ещё раз напоминает нам, что на первой странице выдачи Google нам говорит о примерном количестве страниц, которое есть в их индексе.

В Netpeak Spider есть функция сканирования сайта из выдачи Google – аналогично, там находится максимум 55 результатов.

Советую попробовать узнать у разработчиков сайта, какие ещё страницы были предусмотрены, потому что во внутренней структуре их просто нет, они не перелинкованы с доступными страницами сайта.

Добрый день!

По Google согласен - около 1500 на первой странице, и если листать далее то около 50 страниц.

По Яндекс - вроде как все.

101

Wise.od

19 июня 2017, 11:10

#5

igorbell:

По Яндекс - вроде как все.

А как вы проверяете количество страниц в индексе Яндекса? Надеюсь, через вебмастерку? Ибо операторы в поиске не работают исправно.

386

SmileP

19 июня 2017, 11:54

#6

igorbell:
в чем может быть проблема??

1.Нет ссылок на внутренние страницы

2.Есть дубли на сайте

З.ы. выгрузите список страниц в вебмастере и сравните с выгрузкой из софта.

I

49

igorbell

20 июня 2017, 14:25

#7

Wise.od:
А как вы проверяете количество страниц в индексе Яндекса? Надеюсь, через вебмастерку? Ибо операторы в поиске не работают исправно.

Проверяю и через site: и в самом вебмастере

O

7

Ostrovski

21 июня 2017, 06:37

#8

В robots.txt запрещен доступ для краулеров frog и netpeak, либо в яше и гугле не успели обновиться данные

Отправлено с моего Redmi Note 3 через Tapatalk

36

Ярило

21 июня 2017, 06:40

#9

igorbell:
Проверяю и через site: и в самом вебмастере

site или host? В яндексе индексацию страниц показывает команда host:

Курс биткоина превысил $50 тысяч

Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ