Поиск

Пишу скрипты на PHP и PERL ( c использованием различных дополнительных модулей типа CURL,GD,ImageMagick etc). Вообще решаю широкий спектр задач, но в данное время меня интересуют только эти проблемы (т.е. говоря по-русски, я делаю то, что мне нравится): - граббинг, парсинг и анализ иноформации с различных сайтов. - обработка результатов поисковых систем - различные манипуляции с данными HTTP/HTTPS сессий (к примеру, автоматизированное заполнение форм). Если вам нужны услуги подобного рода, то вы можете связаться со мной следующим образом: - ICQ: 342293919. - Mail: lorien собачка

Если не лазить с гугл-баром, то не игнорирует, а с баром везде лазит, даже по https:).

Такая ситуация: сайт с самого корня доступен только через https:// через 443 порт посредством.htaccess: RewriteEngine On. RewriteCond %{SERVER_PORT} !443. RewriteRule (.*) [R]. На 80-м порту открыта только папка 'shared', которая содержит.htaccess следующего содержания: RewriteEngine Off. RewriteCond %{SERVER_PORT} !443. RewriteRule (.*) [R]. Проблематика: 1) Будет ли кооректной в данном случае след. конструкция файла: User-agent: ia_archiver. Disallow: /. User-agent: *. Disallow: /. Allow: /shared/. То есть боту архивера закрываем доступ на индексацию полнотью, а всем остальным оставляем папку 'shared' в которой будет лежать вся общедоступная статика. 2) Стоит ли делать доступным как исключение на 80-м порту, или же боты заберут его и через защищенный 443?. Буду благодарен всем кто может что-то посоветовать по данному поводу.

Есть ли у кого-нибудь примеры, когда у страниц, доступных по https но без ауторизации был бы PageRank?

Гугл-бар не показывает PR для https страниц. Но если его проверить вручную - через скрипты эмуляции бара, то PR есть. И в выдаче https страницы тоже есть.

Коллеги, просветите, индексируется ли секьюр зона https поисковиками? если да, то какими, если нет, то что делать?

для того чтобы задействовать https робот должен обменятся с сервером сертификатами, сомнительно, что он это делает.

не знаю тонкостей секьюрных зон, но не обязательно зона начинается после ввода логина и пароля. Вполне возможен (с чем я сейчас и столкнулся), что секьюрная зона на сайте везде. и вопрос остается, проиндексирует такой ресурс поисковик али нет?. пример:, он же с редиректом на https

Если вы хотите какие-то страницы передавать пользователям по зашифрованному соединению - тогда нужно будет ссылаться на них через https, и для этих как раз страниц с индексацией могут быть большие проблемы. Но защита требуется обычно для тех страниц, которым в индексе поисковиков и так не место (биллинг-формы, админки, панели управления). А для обычных страниц от https только вред будет в виде тормозов.

А разве ссылки при наличии сертификата не становятся https:// ?

День Добрый! Вот уже несколько дней в результатах моих поисков по гуглу в одном из первых результатов вылазит чтоньть непотребное вроди этого: Want to advertise here?[мой запрос]. Advertising made easy with. Contact us today and start saving on your advertising costs. Targeted traffic at the best prices. http://https:// - 49k Вылазит нестабильно, при повторном поиске через полчаса по тому же запросу на месте этого результата был другой, остальная выдача не изменилась. Не сдержался. А может ли кто из гуру прокомментировать видимые им приемы, с помощью которых был достигнут такой чУдный результат?

Сегодня попытался приступить к оплате ресурса, который хочу зарегистрировать в каталоге, кликнул по ссылке, что в письме, там 404, ввел тоже самое только вначале http:// вместо https://, вывело: специалисты, поделитесь опытом, это надолго?

Интересные, обнадёживающие цифры. Хочется уточнить: этого будет достаточно. -- для чего, собственно? На ответы? или на индексирование? или на ботик, обходящий www раз в месяц? или на линки? или на ежечасное обновление самого-самого? или на поиск дубли, spamer'ов и иже с ними же? или -- неужто? --на всё сразу?. (разработку / отладку / улучшение, разумеется, делают чуваки из OpenSoure, долгими бессонными одинокими ночами таращась в свои только что купленные пол-дюймовые мониторы). Вопрос ещё -- сколько ответов в секунду 'это ' будет давать, и сколько времени будет уходить на каждый ответ. Т.е. им нехватило только бабок и 'маркетинговой политики ', а идей гениальных было пруд пруди? Интересно, каких. Хоть одна, не самая ценная?. Были ли какие-ниб. статьи, пресс-релизы? (Я просто, извините, до сегодняшнего дня не слышал про такие системы, попробовал - ужаснулся). Да. Тема 'идея новизны ':D хороша🤣D🤣, и уже длится пол-года (интересно, много ли здесь таких тем?). Хотя заметно...

Yep, you'r right. it's https://ask.

Всерьез озаботиться его секьюрити. А также посмотреть, как в этом плане дела обстоят у вашего хостинга. Могут на сайт ведь и через хостинг залезть. Сайт, принимающий платежи, становится лакомой добычей для кардеров. Если платежную систему планируете установить от российских банков - ничего посоветовать не могу, так как не знаком. С западными - пожалуйста. Схема достаточно проста. Надо установить на сайт стороннюю платежную систему, использующую протокол https. Таких систем достаточно много. То есть открываете мерчант акаунт в системе, устанавливаете систему на сайт, и начинаете принимать платежи. Условия акаунтов у всех систем разные: одни требуют $500-1000 депозита, ежемесячных платежей $20-50 за обслуживание счета и небольшой процент от каждой транзакции. Другие не требуют депозита и ежемесячных платежей, но берут фиксированную сумму в 30-70 центов за каждую транзакцию плюс процент, который обычно выше - 3-5%. Вторая схема вам скорее всего более подходит. Она удобна для сайтов с...

Заметил я что один из сайтов конкурирующих чего то высоковато в Google. PR=1, страницы не оптимизированы, ссылок на него особых я даже перекрестным поиском не нашел. Одно у него не обычно - он не http:// а https:// - сразу SSL включает. Может тоже кто внимание обращал - Goolge что, любит защищенные страницы?

wolf. можно и не загружать ни немедленно, ни потом. частном случаем может иметь ситуацию не засасывать документы, на которые стоит ссылка в исходном Это святое право любого робота, однако не может отменить определения из первого абзаца:. by retrieving a document, and recursively retrieving all documents that are referenced, иначе его (это определение) просто не было бы смысла писать в таком виде. Если Вы этого не понимаете, то я просто не в состоянии с Вами еще что-то обсуждать. Кстати, вернемся к HEAD - не получается даже 'by retrieving a document ':). euhenio Такой магазин пострадает даже от использования Favorites в MSIE и Netscape:).. что свои проблемы они решать будут сами. Во-во, зайдет пару раз робот закладок, - сразу и решат, если руки не совсем кривые. Кстати, можно и отсутствие referer'а проверять заодно, хотя неиспользование редиректа - это еще и лишние неудобства для пользователя. Ну а если 'передаются, например, Фио и контактные данные ', то их и можно считать ID...

Однако Яндекс.Деньги на Озоне продаются без всяких https =). Чтож не повлияли?. Кстати вы к сожалению так и не ответили по сути задачи. Дело в том, что у многих хостеров как в России, так и на западе в. экономных планах просто нет возможности разместить свой.htaccess. Тоесть вы рекомендуете подобным провайдерам забанить заходы. роботов Яндекса через фаэрвол?. Могу ли я ссылаться на данную вашу рекомендацию, как позицию Яндекса. по данному вопросу?

euhenio Во-первых, за 10 минут можно поправить скрипт так, чтобы после оформления заказа делался редирект 302 на страничку 'заказ принят ', с исходными параметрами. Во-вторых, это что же получается, ID пользователя тоже параметром скрипта передается? А как же безопасность? Любой желающий из referer'а его узнает, и, будучи в веселом настроении, пойдет еще Вам что-нибудь закажет:). Такой магазин вообще не имеет права существовать (кстати, меня несколько мутит вообще от форм заказа без https).

Вопросик на засыпку. Как наши и ненаши поисковики относятся к страницам по https? И индексируют ли они php, asp итд страницы? Спасибо