На днях сотрудник Google Джон Мюллер (John Mueller) заявил, что для того, чтобы контент быстро индексировался, он должен быть в формате HTML.
По его словам, это особенно актуально для тех сайтов, которые часто публикуют новый или обновлённый контент. Своё мнение он высказал в обсуждении, посвящённому двухэтапной системе индексирования Google.
https://twitter.com/JohnMu/status/1040152407416741890
Google сканирует и индексирует контент в два захода. На первом этапе поисковик смотрит только на HTML. Во второй заход он смотрит на весь сайт. На эти этапы может уходить разное время. В некоторых случаях индексация происходит быстро, в других – в течение нескольких дней или недель.
Чем больше на страницах Javascript, обрабатываемого на стороне клиента, тем хуже для SEO. Поскольку при первом заходе краулер может пропускать некоторые детали, то при втором обходе эти страницы могут не индексироваться в полном объёме. В итоге на их индексацию могут уходить недели.
По опыту SEO-консультанта Алана Блейвейса (Alan Bleiweiss), при использовании запускаемого на стороне клиента JavaScript на критически важных страницах только сканирование сайта может занимать недели.
And if it takes weeks to even crawl the whole site, all time bets are off with JavaScript. Just did a review audit on a site that went all client side JS rendering on critical pages. It's a mess and they took a big hit. Two more such audits coming up.
— Alan Bleiweiss (@AlanBleiweiss) 14 сентября 2018 г.
Причина, по которой Googlebot не сканирует и не индексирует страницу целиком во время первого обхода, заключается в его ограниченных ресурсах. Рендеринг страниц с JavaScript, требует вычислительной мощности и памяти, а ресурсы Googlebot ограничены. Когда страница содержит JavaScript, рендеринг откладывается до тех пор, пока у краулера не будет достаточно ресурсов, чтобы обработать контент на стороне клиента.
Поэтому Googlebot может индексировать страницу перед тем, как рендеринг будет завершён. Потом роботу потребуется ещё какое-то время, чтобы завершить её обработку.
