Индексация запрещенных в robots.txt URL из AJAX запросов Google'ом

Добрый день!

Столкнулся с такой проблемой в Google. В других ПС такого поведения не наблюдал.

На сайте есть несколько форм, которые отправляются Ajax запросами с помощью jQuery, на URL типа "/ajax/....":

$.ajax({

type: "POST",

url: "/ajax/post/submit/",

data: $("#addPostForm :input").serialize(),

dataType: "json",

...................................................

})

Ссылок на эти URL нигде нет, возвращают эти контроллеры JSON.

На всякий случай в robots.txt запретил URL начинающиеся с префикса "/ajax" для индексации:

User-agent: *

Disallow: /ajax

Есть 1000 сабдоменов (по одному на 1 город), где есть такая форма. Смотрю недавно логи и вижу, что Google загружает эти Ajax котроллеры. Мало того, через несколько дней эти контроллеры появились в его индексе (проиндесировал JSON ответ)!

Возникает 2 вопроса:

1) Как Google нашел эти URL, если на них нет ссылок?

2) Почему бот пришел на эти страницы и проиндексировал их, если они запрещены в robots.txt?

elliot добавил 01.06.2010 в 22:37

Хм... только на моем сайте гугл так себя ведет?

elliot добавил 01.06.2010 в 22:38

Хм... только на моем сайте гугл так себя ведет?