Для Google приемлемые способы неизвестны. Все что спрятано в JS он видит. robots.txt игнорирует
см. недавнее /ru/forum/784961 и /ru/forum/788366
Для Яндекса вполне подходит обычный js. Пример см. в первой ссылке
Остальные - Firefox и опера из России, анонимно без Ajax и ref никто не обращался.
Даже если сегодня это ранжируется, завтра это перестанет ранжироваться или наоборот станет причиной для санкций.
Стандарт появился раньше Google и носит рекомендательный характер. Т.е. боты не обязаны его соблюдать.
Мне кажется реалии изменились настолько, что они сами перестали понимать что хотят и что творят.
Если бы они реально хотели бы что-то ограничить они бы не лазили туда куда их просят не лазить, а не просили бы снять ограничения, на которое сами же и плюют.
Кстати исходно в http://www.robotstxt.org/orig.html речь идет не об индексации, а о запрете захода в disallow.
These incidents indicated the need for established mechanisms for WWW servers to indicate to robots which parts of their server should not be accessed.
Если бы запрет robots означал просьбу не лезть туда, тогда логика в просьбе была бы. Но поскольку читать/не читать то что не просят дело ПС, то просьба Каттса звучит очень странно.
Она совершенно нелогична.
Во-первых, его боты лезли и будут лезть туда куда их не просят.
Во-вторых, если верить http://dejanseo.com.au/tabs/ боты туповаты в части интерпретации CSS. Даже не то что туповаты, а интерпетируют CSS как будто сейчас 2001 год, когда при помощи CSS норовили спрятать спам-тексты. Поэтому если бы было можно прикрыть - нужно было бы обязательно прикрыть и CSS и JS---------- Добавлено 23.04.2013 в 12:55 ----------
ip:66.249.78.110 ua:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
ip:66.249.76.199 ua:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Логи фиксировал только при попытке скачать Ajax-контент без Ajax-запроса и без соответствующего refferer
Попались только два бота:
ip:204.236.226.210 ua:ia_archiver (+http://www.alexa.com/site/help/webmasters;
Это очень даже не просто.
Сначала нужно проанализировать CSS на media-queryю Т.е. нужно состыковать в одной связке CSS, HTML и js, да еще и с привязкой к физическому устройству, и потом в зависимости от результатов анализа вывести нечто. Все-таки более вероятно что они используют хромовский движок.
Хотя я не проверял что будет для разных media-query. Если бот проиндексирует взаимоисключающие варианты на одной странице, тогда вы будете правы. А если нет тогда неизвестно
Применительно к тем временам и к специальности ФАЛТ достаточно было уметь решать на эвм круг задач связанных с аэродинамикой/баллистикой и всякими смежными вещами. Как решать конкретные задачи - объясняли на предприятии, а вот программированию (практическому умению алгоритмирования и кодирования математической задачи) их обучали в институте.
Если тогда каждый программист (не инженер) был обязан читать Кнута, сейчас он обязан читать Паттерны проектирования Все примеры в этой книге написаны на C++. И чтобы ее прочитать нужно этот язык знать, понимать и уметь читать с листа как беллетристику. Т.е. языком нужно владеть свободно.
Мы кажется о разном. Я об овладении основными навыками, в число которых входит базовый математический аппарат и умение программировать. Детализация и специализация - это все остальное. На третьем курсе как в физтехе, с первого курса как на советских заводах-втуз, роли не играет. Основы должны быть. И умение программировать на C++/Java - это основа. Это не специализация.
Я работал на базовом предприятии физтеха. Студенты третьего курса ФАЛТ владели программированием вполне прилично. Всего стального не знали, но основу для любого инженера - программирование и работу с тогдашними ОС их не нужно было учить. Т.ч. пример с физтехом потдтверждает что я прав. А вы нет :)
