Как вы загоняете большое количество доров в индекс?

Ребята, все пропало 🤣 Какой-то Вася с серча забраковал, ему не понравилось. Годы работы коту под хвост :D Да, серч нынче не торт. Буду сворачивать скоро удочки отсюда.

Скрипт рабочий, но по тестам пока не понятно, за 12 часов ничего в индексе не увидел, кроме морды сайта с ссылками

Скрипт рабочий но лезет туго с 10 карт по 2к страниц на разных 10 доменах с редиком на 10 других доменов на последних зашло страниц по 10-50 за 5 дней. Боты заходят на первые сайты но по редиректам ходят раз на 20-30 посещений. Если очень сильно заморочится и масштабнуться то результат будет. В простом варианте туго.

нынче не в ботах дело, а в контенте (трасте, возрасте) сайта. вы можете много ботов нагнать, но индекс будет расти медленно (или не расти совсем) если у вас слабый, или слишком молодой сайт.

Чушь.

Для обхода ботами и количество обхода - ваш сайт вообще не играет роли.

Чел вам дал схему, но забыл упомянуть, что решают именно домены, которыми вы пытаетесь так загнать, вот от них и зависит, как быстро и как много будет бот обходить ваши свежереги и дропы.

А народ уже обрадовался тут, нашли кнопку бабло :)

Продвигаемый сайт играет основную роль. В самом начале я написал, что индексация зависит от самого продвигаемого сайта. А просто пригнать бота на плохой сайт и ждать типа индексации это глупо. Он может быть плохим для гугла, под фильтром. У него может закончиться краулинговый бюджет. Так вот, этот скрипт поможет даже при закончившемся краулинговом бюджете продолжать индексировать - используя бюджет донора. На каждый заход на редирект googlebot вынужден идти по редиректу тут же - смотрите логи сервера. А загонять плохой по контенту дор надо внешними ссылками на каждую страницу.

Домен редиректа конечно же решает. Но, в том плане, что лучше брать СВЕЖИЙ домен. Так как гугл очень жадно индексирует в первые дни именно свежие домены. Будет сильный дроп для редиректов - это жирный плюс. И да, фриномы намного хуже индексируются, чем просто новореги.

Плюс, у этого скрипта есть побочный эффект. Много url редиректов становятся в выдачу гугла по запросам вместо сайтов, на которые ссылаешься :) Гугл часто неправильно выбирает canonical домен.

Вобщем, ребята, когда не умеешь пользоваться прибором - и его можно сломать :)

Saney, первый обход ботом - никакой роли сайт ваш не играет. Гугл все-ранов придет и заберет страницы. А вот если он потом начнет их выплевывать и сайт минусить - это уже будут проблемы сайта. Но проход ботом свежерега и вход в индекс первый - никакой сайт роли не играет, только то, чем загоняете.

Это вообще к чему? Ты название темы видел? А как же быть, когда остановилась индексация, закончился краулинговый бюджет, и не ходит googlebot в логах вообще на сайт? Да, плевать там мне, что у кого выпадает. Это другой вопрос вообще. Надо уметь делать контент на доре, чтобы не выпадал. Тяжело признать какую-то новую фишку, когда много лет в теме - понимаю :)

Создай тему - "как сделать так, чтобы доры на тысячи страниц не выпадали из основного индекса". Вот там и расскажешь все, что думаешь :)

ps. Вот, допустим ситуацию - дор на 50к страниц начал индексироваться на основном домене. Ты создаешь поддомен через пару недель - и он нифига не индексируется, вяло очень, так как основной домен сожрал весь бюджет и бот пасется только на нем, пока весь не пройдет. А ты берешь вспомогательный домен - ставишь редиректы на этот новый поддомен. И о чудо, слава Богам, гугл обратил внимание на поддомен :)

Safronov,

Ребят, я не буду включать режим Арбайтена и говорить "я вам все дал" :) Но, ситуация похожая.

У меня в логах вот такое творится на новорегах под редиректы:

Это через 2 недели после запуска. В первый день бот по 2 раза в секунду заходил.

crawl-66-249-64-106.googlebot.com - - [11/May/2019:09:36:25 +0000] "GET /699/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-114.googlebot.com - - [11/May/2019:09:48:29 +0000] "GET /1015/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-114.googlebot.com - - [11/May/2019:09:55:41 +0000] "GET /860/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-118.googlebot.com - - [11/May/2019:09:58:42 +0000] "GET /616/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-114.googlebot.com - - [11/May/2019:10:10:59 +0000] "GET /779/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-116.googlebot.com - - [11/May/2019:10:12:01 +0000] "GET /684/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-114.googlebot.com - - [11/May/2019:10:13:54 +0000] "GET /705/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-118.googlebot.com - - [11/May/2019:10:18:26 +0000] "GET /556/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-118.googlebot.com - - [11/May/2019:10:23:41 +0000] "GET /695/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-114.googlebot.com - - [11/May/2019:10:48:00 +0000] "GET /654/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-114.googlebot.com - - [11/May/2019:10:54:21 +0000] "GET /182/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-116.googlebot.com - - [11/May/2019:10:56:32 +0000] "GET /50/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-104.googlebot.com - - [11/May/2019:11:00:25 +0000] "GET /834/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-108.googlebot.com - - [11/May/2019:11:03:07 +0000] "GET /15/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-116.googlebot.com - - [11/May/2019:11:12:12 +0000] "GET /474/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-108.googlebot.com - - [11/May/2019:11:20:15 +0000] "GET /461/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-108.googlebot.com - - [11/May/2019:11:29:12 +0000] "GET /364/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-66-249-64-106.googlebot.com - - [11/May/2019:11:38:54 +0000] "GET /921/ HTTP/1.0" 301 20 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Чем я еще могу вам помочь?

Гугл бот ложил на 301, он просто добавляет в базу для обхода при 301 редиректе, мгновенного перехода бота нет. У яндекса наоборот - по 301 мгновенный переход бота.

Saney, твои логи показывают лишь то, что сервер отдает боту 301 редик и все)

Googlebot сразу же переходит по 301 редиректу, если пункт назначения не забанен, не закрыт. Это легко проверить.

Даже в google mobile test вбей сайт с www / - оно покажет, что сразу переходит 🤣

Не нужно нам твоей фантастики :D Я лет 5 использую эту фишку, индексирую чужие страницы. В 100% случаев он приходил сразу же 🤣

http://saney.ru/blog/seo/google-index-fast/

Логи показывают, что бот ходит. А у человека не ходит.