Эксперимент: Google vs JavaScript

12 3
devaka
На сайте с 27.11.2007
Offline
115
2845

Добрый день, форумчане!

Хочу предоставить вашему вниманию результаты эксперимента с javascript в Google, которые для многих из вас, думаю, будут полезны.

То, что Google распознает яваскрипт было известно уже давно (с 2007 г, может раньше), но интересовал вопрос, неужели Google видит страницу также, как и пользователь со среднестатистическими настройками браузера!? В общем, особо не вдаваясь в подробности, сразу к делу.

Целью эксперимента было определить, в каких случаях Google распознает javascript и индексирует контент с ссылками, а также, в каких случаях контент от него можно скрыть. Можно ли как-то усложнить скрипт, чтобы запутать гугл?!

Что мы получили в результате?

В результате получилось, что гугл индексирует контент и придает вес ссылкам в случаях:

1. Присутствует обычная или кусочная строка в document.write

2. Вызвана внутренняя функция

3. Вызвана функция из внешнего файла

4. Обработан обфускейченный файл или функция

Гугл не индексирует результаты работы скрипта лишь в случае:

1. Если внешний файл со скриптом закрыт от индексации в robots.txt

2. Присутствуют операции работы с DOM документа, активирующиеся на события.

Внешние .js файлы, если они открыты для индексирования, бот посещает с периодичностью 2 раза в месяц (в моем случае) и не сразу после индексации основной страницы, а значительно позже (через 7-14 дней).

Подробнее о проведении самого эксперимента и подтверждении результатов:

http://devaka.ru/articles/complex-javascript-for-google

Комментируем, делимся мыслями.

Новичкам о плане раскрутки (/ru/forum/365295) | Продвижение статьями (/ru/forum/357989) | Ошибки SEO (/ru/forum/354029) | © Devaka.ru
XPraptor
На сайте с 15.10.2004
Offline
333
#1

Молодца ТС. Давно пора было выложить в паблик этот тест. Кстати, распозновать document.write с конкатенацией гугл стал уже давно, а вот сосвем недавно добрался до функций, теперь и функции в document.write он умеет обрабатывать.

А я довольно долго использовал конструкции вида:

В пхп при выводе ссылки заменяются все буквы например a или o на ~!~. а в скрипет делал обратное преобразование через string.replace(). И гугл только недавно научился распознавать такие методы.

Про дом и прочие методы - лучше бы в папблик не постили, а то гоша начнет и их подстраивать :)

zhitov
На сайте с 30.01.2005
Offline
219
#2

Хороший эксперимент. От Большого брата не скрыться :)

Строительные калькуляторы ( https://www.zhitov.com/ )
Force68
На сайте с 23.04.2010
Offline
250
#3

Сергей спасибо - очень познавательно.

zTDS - бесплатная TDS (https://t.me/z_tds)
Z-Style
На сайте с 18.03.2010
Offline
185
#4
zhitov:
Хороший эксперимент. От Большого брата не скрыться :)

Ну почему же не скрыться:) Спасибо товарищу Devaka за то что подтвердил пункт 1.

TM
На сайте с 28.10.2008
Offline
70
#5
devaka:

1. Если внешний файл со скриптом закрыт от индексации в robots.txt
.

Нда.... и с каких это пор гугль обращает внимание на роботс.тхт? :)

fgscorp
На сайте с 09.02.2011
Offline
50
#6
t-m-p:

Нда.... и с каких это пор гугль обращает внимание на роботс.тхт?

С незапамятных :)

Автору спасибо за эксперимент... Давно интересовал данный вопрос.

21
На сайте с 05.08.2007
Offline
28
#7
devaka:

Гугл не индексирует результаты работы скрипта лишь в случае:
1. Если внешний файл со скриптом закрыт от индексации в robots.txt
2. Присутствуют операции работы с DOM документа, активирующиеся на события.

Подскажите ТС, а можно запретить индексировать скрипт, который описан между <head>...</head> на html-странице?

Дело в том, что Гугл некорректно сгенерировал урлы, которые формируются на яваскрипт и наштамповал кучу 404 ошибок.

Пробовал запретить переменные в настройках вебмастера и robots.txt (Disallow: /*searchUrl* и

Disallow: /*?=searchUrl*), но ошибки дальше продолжают всплывать...

Современные системы отопления и водоснабжения (http://contrast.in.ua), строительство деревянных домов (http://izbushka.in.ua), монтаж инженерных систем (http://contrast.net.ua)
TM
На сайте с 28.10.2008
Offline
70
#8
fgscorp:
С незапамятных :)

.

Ну да, только вот незадача - у меня страница есть, которая ни как не соответствует тематики сайта, а с самого постинга начала приносить ненужный трафик. Я ее в роботсе.тхт Дизэлокал. но тем не менее она получила ПР3 и в выдаче до сих пор имеется. И это уже год после того как я запретил ее индексацию.

T
На сайте с 16.11.2008
Offline
22
#9
devaka:
Добрый день, форумчане!
Хочу предоставить вашему вниманию результаты эксперимента с javascript в Google, которые для многих из вас, думаю, будут полезны.

То, что Google распознает яваскрипт было известно уже давно (с 2007 г, может раньше), но интересовал вопрос, неужели Google видит страницу также, как и пользователь со среднестатистическими настройками браузера!? В общем, особо не вдаваясь в подробности, сразу к делу.

Целью эксперимента было определить, в каких случаях Google распознает javascript и индексирует контент с ссылками, а также, в каких случаях контент от него можно скрыть. Можно ли как-то усложнить скрипт, чтобы запутать гугл?!

Что мы получили в результате?

В результате получилось, что гугл индексирует контент и придает вес ссылкам в случаях:

1. Присутствует обычная или кусочная строка в document.write
2. Вызвана внутренняя функция
3. Вызвана функция из внешнего файла
4. Обработан обфускейченный файл или функция

Гугл не индексирует результаты работы скрипта лишь в случае:

1. Если внешний файл со скриптом закрыт от индексации в robots.txt
2. Присутствуют операции работы с DOM документа, активирующиеся на события.

Внешние .js файлы, если они открыты для индексирования, бот посещает с периодичностью 2 раза в месяц (в моем случае) и не сразу после индексации основной страницы, а значительно позже (через 7-14 дней).

Подробнее о проведении самого эксперимента и подтверждении результатов:
http://devaka.ru/articles/complex-javascript-for-google

Комментируем, делимся мыслями.

Девака, при всем уважении, должен заметить, что это не совсем так)))

Да, действительно, наблюдалась активность Гугла в обработке скриптов, на которые он до этого клал.

Но!!! Скорее всего, это было связано с анализом ситуации перед его попыткой сформировать требования для сайтов WEB2.

Во всяком случае, нет оснований говорить, что он вдруг начал учитывать ссылки из скриптов.

Более подробно, о том что он сейчас делает и как тут:

http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=174992

Буду рад видеть Вас на форуме:

http://www.google.com/support/forum/p/webmasters?hl=ru

Там мой ник rVv

G
На сайте с 02.07.2007
Offline
28
#10
devaka:

2. Присутствуют операции работы с DOM документа, активирующиеся на события.

а проверка проводилась на какие-то конкретные события?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий