Как я загоняю в индекс 100к страниц

12 3
Бабайка
На сайте с 05.08.2010
Offline
135
3457

В течении года пытаюсь загнать в индекс с десяток сайтов на которых от 20к до 100к страниц через серч консоль, как раньше, путем добавления sitemap.xml в аддурилку - нифига не выходит.

Индексируется 1к - 5к страниц и усё. На остальные процентов 20-30 от общей массы пишет просканировано, но не проиндексировано.

Попытался добавить непроиндексированные страницы через "проверка URL" принудительно - все отлично заходит в течении 1-5 минут. Но дальше бот не идет по ссылкам на странице и другие страницы не индексирует.

Сейчас полдня пробую добавить пачкой ссылки в свеженаписанные статьи на блогспоте (блогспот 2011 года, и есть свежерег). Также добавляю принудительно урлы статей в серчконсоль - индекс страницы есть, а ссылки на сайт на странице не индексирует.

Внимание вопрос:

1. Через сколько времени бот индексирует ссылки с блогспота (если он их индексирует), и в каком процентном соотношении?

2. Если вот так сидеть и тыцкать в серч консоли принудительно 100500 страниц - то может сломаться палец. Есть ли какие то способы это дело упростить? (преверенные)

3. Какие еще есть альтернативы простые и рабочие чтобы пачками индексировать страницы ?

Ingvarr
На сайте с 26.04.2009
Offline
452
#1
Бабайка:
Если вот так сидеть и тыцкать в серч консоли принудительно 100500 страниц - то может сломаться палец.

Более того, через некоторое время часть страниц вылетит из индекса.

Сам столкнулся с такой проблемой, но у меня процент неиндексируемых страниц ниже, чем у вас.

Бабайка
На сайте с 05.08.2010
Offline
135
#2
Ingvarr:
Более того, через некоторое время часть страниц вылетит из индекса.

Сам столкнулся с такой проблемой, но у меня процент неиндексируемых страниц ниже, чем у вас.

Какой процент страниц в итоге отваливается?

Трафик на индексируемые страницы насколько быстро прибывает?

xoxol4uk22
На сайте с 14.11.2017
Offline
66
#3
Бабайка:
. Если вот так сидеть и тыцкать в серч консоли принудительно 100500 страниц - то может сломаться палец. Есть ли какие то способы это дело упростить? (преверенные)

Зенопостер. Я им проводил обратную операцию - удаление из индекса тысяч китайских страниц после взлома сайта.

Бабайка
На сайте с 05.08.2010
Offline
135
#4
xoxol4uk22:
Зенопостер. Я им проводил обратную операцию - удаление из индекса тысяч китайских страниц после взлома сайта.

Зенобокс или Зенопостер? Насколько я понимаю, там есть какая то разница между ними.

А проект уже готовый где то брали?

Ingvarr
На сайте с 26.04.2009
Offline
452
#5
Бабайка:
Какой процент страниц в итоге отваливается?

Около 3% ранее проиндексированных страниц у меня отваливается.

Потом они снова индексируются, но другие отваливаются или эти снова отваливаются.

Бабайка
На сайте с 05.08.2010
Offline
135
#6
Ingvarr:
Около 3% ранее проиндексированных страниц у меня отваливается.

Потом они снова индексируются, но другие отваливаются или эти снова отваливаются.

Ну это обычное явление. При 10к проиндексированных страниц обычно в выдаче пляшет по запросу неделя от недели +- 1500 - 2000, ну это лично у меня

Ingvarr
На сайте с 26.04.2009
Offline
452
#7
Бабайка:
Трафик на индексируемые страницы насколько быстро прибывает?

В том то и дело, что в основном плохо индексируются страницы с низким трафиком.

Бабайка:
Ну это обычное явление.

На сайте есть раздел в котором около 200 страниц и на них ежедневно много трафика. Так из этого раздела ни одна страница никогда из индекса не выпадает.

Вывод, что плохо индексируются и выпадают из индекса страницы с низким трафиком.

L
На сайте с 10.02.2015
Offline
220
#8
Бабайка:
На остальные процентов 20-30 от общей массы пишет просканировано, но не проиндексировано.

Это может быть баг гугла.

Проверьте страницу через поиск.

L
На сайте с 16.10.2014
Offline
108
#9

Аналогичная проблема ....

по закрывал все что только можно, чтоб больше времени бот лазил по нужным страницам , но толку маловато...

Купить автомобиль из США можно тут (https://us-car.com.ua)
Бабайка
На сайте с 05.08.2010
Offline
135
#10
livetv:
Это может быть баг гугла.
Проверьте страницу через поиск.

проверял - отсутствует. в том то и проблема, что при ручном добавлении по 1 ссылке - в индекс входит на "раз два три"

---------- Добавлено 08.08.2019 в 13:36 ----------

xoxol4uk22:
Зенопостер. Я им проводил обратную операцию - удаление из индекса тысяч китайских страниц после взлома сайта.

Вот спустя какое то время, после добавления ссылок 50-60 , мне написало - Для вашего ресурса превышена ежедневная квота на количество проверок URL

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий