Гугл будет индексировать страницы закрытые паролем.

F
На сайте с 04.04.2006
Offline
104
1260

Поиск в «Глубокой Паутине» (Deep Web)

Джаянт Мадхаван и Элон Хэлеви

«Глубокой Паутиной» называется контент, доступный только через HTML-формы. Чтобы получить Web-страницу из Deep Web, пользователь должен заполнить поля некоторой формы допустимыми входными значениями. Поскольку поисковые агенты для обнаружения Web-страниц полагаются, прежде всего, на гиперссылки, они не могут достичь страниц Глубокой Паутины, и, следовательно, эти страницы остаются не проиндексированными поисковыми машинами. Глубокая Паутина является существенной брешью в зоне действия поисковых машин, и многие люди считают, что в Deep Web содержится намного больше данных, чем во Всемирной Паутине, доступной для поиска в настоящее время. В Глубокую Паутину входит много высококачественных сайтов, в частности, системы поиска магазинов (store locator) и правительственные сайты. Поэтому исследователи хотели бы расширить зону действия поисковой машины Google, включив в нее Web-страницы из Deep Web.

:eek:

jan308
На сайте с 29.04.2008
Offline
16
#1

Источник?

Подозреваю, что допустимые значение это никак не логин и пароль, иначе все, что можно получить онлайн будет покупаться только один раз :)

F
На сайте с 04.04.2006
Offline
104
#2

Индексировались только информационные сайты с формами. Принимались меры предосторожности во избежание любых форм, для которых требуется какая-либо персональная информация, и/или которые могут обладать какими-либо побочными эффектами. Например, не анализировались формы, в которых используется метод POST, требуется ввод паролей или содержатся такие ключевые слова, как username, login и т.д.

интересно пароль для проверки человечности робот будет обходить или нет?

SEO-MAN
На сайте с 25.06.2007
Offline
187
#3

А зачем поисковику индексировать то, что вебмастер не хочет проиндексировать?

А следующий шаг, поисковые системы будут подбирать логины и пароли, чтобы проиндексировать закрытые странички и платную информацию :)

Форум сео (http://forum-seo.net) для новичков автоматическая регистрация в 30000 каталогах за 5$ (/ru/forum/157861) Нужна доработка 2 досок объявлений - avtopmr.net, pmrdom.com (вип объявления и удаление дублей)
webcat
На сайте с 19.10.2005
Offline
137
#4

FREEgat - Гуголь никогда не будет индексировать страницы закрытые паролем - он их просто не получит на просмотр. Или Вы думаете что Гуголь это огромный Хакер который будет разгадывать закодированые пассворты юзеров :D

Гуголь это может быть огромный спрут, но навряд-ли он является взломщиком паролей :D :D :D

Второе - или перевод не точен или аФторы не совсем сильны в том, о чём пишут.

Deep Web - это НЕ ТОЛЬКО СТРАНИЦЫ закрытые паролями - это намного сложнее и БОЛЬШЕ

И то что поисковые системы в своём большинстве на находят стпаницы Deep Web - на это есть совсем другие причины.

Писать долго и нудно.

Вот Вам ссылка на русскую Вики - хотя там перевод тоже в нюасах не точен и не полон, но Вы хоть немного разберётесь - я по крайней мере на это надеюсь ;)

http://ru.wikipedia.org/wiki/%D0%93%D0%BB%D1%83%D0%B1%D0%BE%D0%BA%D0%B0%D1%8F_%D0%BF%D0%B0%D1%83%D1%82%D0%B8%D0%BD%D0%B0

Если владеете английским или немецким - читайте там

F
На сайте с 04.04.2006
Offline
104
#5

Про пароли в названии темы это я утрировал, там к конфеденциальной информации доступ предоставляться не будет и индексировать не будут, но:

При применении второго подхода, иногда называемого подходом выявления скрытого контента (surfacing approach), производится предварительное вычисление наиболее уместных вариантов заполнения форм для всех интересных HTML-форм. После этого результирующие URL могут быть проиндексированы подобно любым другим страницам HTML. Важно то, что этот подход позволяет использовать существующую инфраструктуру поисковых машин и, следовательно, допускает органичное включение страниц Глубокой Паутины в результаты поиска в Web.

Всё здесь http://citforum.cherepovets.ru/database/articles/google_projects/

"А зачем поисковику индексировать то, что вебмастер не хочет проиндексировать?

А следующий шаг, поисковые системы будут подбирать логины и пароли, чтобы проиндексировать закрытые странички и платную информацию"

Гы, в шпионских целях :))) ☝:D

webcat
На сайте с 19.10.2005
Offline
137
#6
FREEgat производится предварительное вычисление наиболее уместных вариантов заполнения форм

речь идёт про интегрированные в сайты поиски. Да Гуголь уже сейчас частично это идексирует. Но это не зкарытая или запрещённая к индексации информация

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий