Гугль будет индексировать все что движется?

Насколько я знаю получение закрытой информации идет в разрез с законодательством США и многих европейских стран, пойтет ли гугл на это?

ИМХО это может нравиться или не нравиться, но ничего ненормального здесь не вижу. Никто никому ничего не обещал, насколько мне известно - о каких "нормах" Вы говорите? Если хочется скрыть инфу - не выкладывайте ее в Инет. Если она запаролена, то, проиндексирована она или нет, посторонний юзер до нее не доберется. На чей-либо персональный комп паук не полезет, а если Вы что-то выложили в виртуальной директории - почему нет? Запретите роботсом, и но проблем.

Все идет к тому что нужно будет делать robots.txt к собственным машинам

А что, есть сведения, что Google их у кого-то уже угонял? :)

Вероятно у Гугла в штатном расписании есть несколько юристов неплохой квалификации. Вряд ли большая империя станет заниматься противозаконными действиями небольшого масштаба - типа как по карманам мелочь тырить.

ну так топик про

Ну а если серьезно, то где-то в инете я не так давно читал, что то что находится в индексе (инфа) - это верхушка айсберга, самое ценное это инфа на компьютерах пользователей и к ней google стремится добраться🙄

Толку гуглу с закрытой информации, если пользователь клацнув по результатам поиска не сможет ее увидеть... С чего вы взяли что гугл логинится на сайты и форумы?

Видимо с того, что бывает по нужному запросу выдает какой-нить форум, но при переходе этот же форум пишет "необходимо авторизоваться"

Кстати, хороший метод халявного распознавания *.pdf. И FineReader покупать не нужно, экономия опять же ☝

P.S. А если серьёзно - разговоры про законность нахождения авторского контента (не только текста, но и изображений) в кэше поисковых систем обсуждается с завидной регулярностью. И пока никто свою правоту не доказал...

Если есть опасение, что гоша украдет ценную инфу закрывайте pdf паролем или пишите грамотно robots.txt, или в крайнем случае есть <noindex>