- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Часть 1 была здесь. В ходе обсуждения были высказаны разные предположения относительно "выполнения" js на страницах.
Эксперимент http://erum.ru/116.htm наводит на мысль, что скрипт именно исполняется причем в контексте всей страницы вместе с CSS да еще используя media-query
Ayavryk, так в роботсе же нет запрета на индексацию файлов, к которым происходит обращение из js, а url в нём явно указан, js то же открыт для индексации
в данном случаи даже исполнять ни чего не надо, достаточно просто проиндексировать и разобрать
Ayavryk,достаточно просто проиндексировать и разобрать
Это очень даже не просто.
Сначала нужно проанализировать CSS на media-queryю Т.е. нужно состыковать в одной связке CSS, HTML и js, да еще и с привязкой к физическому устройству, и потом в зависимости от результатов анализа вывести нечто. Все-таки более вероятно что они используют хромовский движок.
Хотя я не проверял что будет для разных media-query. Если бот проиндексирует взаимоисключающие варианты на одной странице, тогда вы будете правы. А если нет тогда неизвестно
Ayavryk, кстати, а по логам определить кто туда заходил?
Ayavryk, кстати, а по логам определить кто туда заходил?
Логи фиксировал только при попытке скачать Ajax-контент без Ajax-запроса и без соответствующего refferer
Попались только два бота:
ip:66.249.78.110 ua:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
ip:204.236.226.210 ua:ia_archiver (+http://www.alexa.com/site/help/webmasters;
Совершенно непонятно на кой он вообще обращается с такой просьбой, если Google пофиг запрещено или нет. Скрипты закрытые от индексации он выполнял еще до обращения. Выполняет и сейчас.
- если гугел научился/учится при анализе семантики учитывать результаты визуализации (видимость пассажей, их порядок, визуальные акценты) то "просьба" не закрывать css в robots вполне логична;
- если гугел раньше вполне чётко отслеживал только детали результатов работы js (не интересуясь подробностями кода), то, быть может, сейчас научился/учится анализировать генерируемый скриптами контент и тогда "просьба" не закрывать js в robots вполне логична;
а с media-query важно чтоб отлавливался наиболее полный вариант визуализации. технология mobile first слишком хороша чтобы отказываться, но есть опасения, что пассажи закрытые по умолчанию (для mobile) останутся закрытыми от индексации вообще, пока ПС не научаться норм разбирать media-query...
Ayavryk, там ещё точно должен быть тот кто за превьюшки отвечает
"просьба" не закрывать css в robots вполне логична;
Она совершенно нелогична.
Во-первых, его боты лезли и будут лезть туда куда их не просят.
Во-вторых, если верить http://dejanseo.com.au/tabs/ боты туповаты в части интерпретации CSS. Даже не то что туповаты, а интерпетируют CSS как будто сейчас 2001 год, когда при помощи CSS норовили спрятать спам-тексты. Поэтому если бы было можно прикрыть - нужно было бы обязательно прикрыть и CSS и JS
---------- Добавлено 23.04.2013 в 12:55 ----------
Ayavryk, там ещё точно должен быть тот кто за превьюшки отвечает
ip:66.249.78.110 ua:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
ip:66.249.78.110 ua:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
ip:66.249.76.199 ua:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
... Во-первых, его боты лезли и будут лезть туда куда их не просят
ну так robots и не предназначен для закрытия доступа ботам ;) а для ограничения прямой индексации. в индексе только то, что лигитимно по robots, а вот как при этом учитывать "внутренние факторы" это дело ПС, если опосредованно, для индексации открытого конитента, ПС считают нужным проанализировать, а не "проиндексировать", доп инфу - почему не зайти боту?..
Было три захода:
он по другому представляется, щас не помню нужно поискать, но слова Google там точно нет, по диапазону IP вычисляется и да он обращается ко всем файлам участвующим в формировании страницы
а вот Googlebot/2.1 это уже видимо следствие
вопрос последнее время стоял в том передаются ли данные между ними и участвуют ли они в ранжировании?
это дело ПС.
Если бы запрет robots означал просьбу не лезть туда, тогда логика в просьбе была бы. Но поскольку читать/не читать то что не просят дело ПС, то просьба Каттса звучит очень странно.