Инженер Google Мэтт Каттс (Matt Cutts) написал в своем блоге статью, призывающую владельцев сайтов не блокировать javascript и CSS от бота поисковой системы, так как это может потенциально навредить ранжированию.
Использование javascript и CSS не повысит позиции сайта, однако блокировка бота Google может разрушить целостное восприятие страницы.
«Если вы заблокировали Googlebot от краулинга javascript или CSS, пожалуйста, потратьте несколько минут, снимите этот запрет в robots.txt и дайте нам загрузить javascript, CSS и лучше понять, что же происходит на странице».
«Многие люди блокируют их, потому что думают: «Oй, это будет затратно с точки зрения пропускной способности и все такое», однако Googlebot достаточно умен, чтобы не производить краулинг слишком быстро, а многие люди делают так: они проверяют Flash, а потом добавляют javascript, не отдавая себе отчёта в том, что добавление этого javascript – при условии, что javascript заблокирован, делает нас неспособными обходить сайт так эффективно, как нам бы хотелось», - сказал Каттс.
«К тому же, Google стал лучше обрабатывать javascript, - добавил он. - Он становится лучше в таких вещах как обработка CSS для выявления, что же важно на странице; поэтому, если вы заблокировали Googlebot, я прошу: пожалуйста, потратьте немного времени и снимите эти блоки в robots.txt, чтобы позволить Googlebot лучше понять, что происходит на вашей странице, это поможет всем с точки зрения поиска лучших результатов; мы сможем выдать их пользователям на более высоком уровне».