- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Поиск в «Глубокой Паутине» (Deep Web)
Джаянт Мадхаван и Элон Хэлеви
«Глубокой Паутиной» называется контент, доступный только через HTML-формы. Чтобы получить Web-страницу из Deep Web, пользователь должен заполнить поля некоторой формы допустимыми входными значениями. Поскольку поисковые агенты для обнаружения Web-страниц полагаются, прежде всего, на гиперссылки, они не могут достичь страниц Глубокой Паутины, и, следовательно, эти страницы остаются не проиндексированными поисковыми машинами. Глубокая Паутина является существенной брешью в зоне действия поисковых машин, и многие люди считают, что в Deep Web содержится намного больше данных, чем во Всемирной Паутине, доступной для поиска в настоящее время. В Глубокую Паутину входит много высококачественных сайтов, в частности, системы поиска магазинов (store locator) и правительственные сайты. Поэтому исследователи хотели бы расширить зону действия поисковой машины Google, включив в нее Web-страницы из Deep Web.
:eek:
Источник?
Подозреваю, что допустимые значение это никак не логин и пароль, иначе все, что можно получить онлайн будет покупаться только один раз :)
Индексировались только информационные сайты с формами. Принимались меры предосторожности во избежание любых форм, для которых требуется какая-либо персональная информация, и/или которые могут обладать какими-либо побочными эффектами. Например, не анализировались формы, в которых используется метод POST, требуется ввод паролей или содержатся такие ключевые слова, как username, login и т.д.
интересно пароль для проверки человечности робот будет обходить или нет?
А зачем поисковику индексировать то, что вебмастер не хочет проиндексировать?
А следующий шаг, поисковые системы будут подбирать логины и пароли, чтобы проиндексировать закрытые странички и платную информацию :)
FREEgat - Гуголь никогда не будет индексировать страницы закрытые паролем - он их просто не получит на просмотр. Или Вы думаете что Гуголь это огромный Хакер который будет разгадывать закодированые пассворты юзеров :D
Гуголь это может быть огромный спрут, но навряд-ли он является взломщиком паролей :D :D :D
Второе - или перевод не точен или аФторы не совсем сильны в том, о чём пишут.
Deep Web - это НЕ ТОЛЬКО СТРАНИЦЫ закрытые паролями - это намного сложнее и БОЛЬШЕ
И то что поисковые системы в своём большинстве на находят стпаницы Deep Web - на это есть совсем другие причины.
Писать долго и нудно.
Вот Вам ссылка на русскую Вики - хотя там перевод тоже в нюасах не точен и не полон, но Вы хоть немного разберётесь - я по крайней мере на это надеюсь ;)
http://ru.wikipedia.org/wiki/%D0%93%D0%BB%D1%83%D0%B1%D0%BE%D0%BA%D0%B0%D1%8F_%D0%BF%D0%B0%D1%83%D1%82%D0%B8%D0%BD%D0%B0
Если владеете английским или немецким - читайте там
Про пароли в названии темы это я утрировал, там к конфеденциальной информации доступ предоставляться не будет и индексировать не будут, но:
При применении второго подхода, иногда называемого подходом выявления скрытого контента (surfacing approach), производится предварительное вычисление наиболее уместных вариантов заполнения форм для всех интересных HTML-форм. После этого результирующие URL могут быть проиндексированы подобно любым другим страницам HTML. Важно то, что этот подход позволяет использовать существующую инфраструктуру поисковых машин и, следовательно, допускает органичное включение страниц Глубокой Паутины в результаты поиска в Web.
Всё здесь http://citforum.cherepovets.ru/database/articles/google_projects/
"А зачем поисковику индексировать то, что вебмастер не хочет проиндексировать?
А следующий шаг, поисковые системы будут подбирать логины и пароли, чтобы проиндексировать закрытые странички и платную информацию"
Гы, в шпионских целях :))) ☝:D
речь идёт про интегрированные в сайты поиски. Да Гуголь уже сейчас частично это идексирует. Но это не зкарытая или запрещённая к индексации информация