Ayavryk

Ayavryk
Рейтинг
209
Регистрация
11.10.2003

Пц какой-то. Взял и склеил три разных сайта. Склейку вернул на место по всем запросам, которые они занимали до прошлого апдейта, но невпопад.

Причем все три были в Я-каталоге много лет. Все склееные из Я-каталога вылетели.

Лучше делать это через внешний CSS. И жизнь спокойнее (CSS не индексируется) и верстка красивше

> Ayavryk, там только скрипты и роботу просто незачем в них лезть (ссылок на них нет)

Вам же прислали ссылку на результаты эксперимента, в которых говорится о том что Google читает внешние JS. Он вообще много что читает, что ему на первый взгляд совершенно не нужно читать.

А вот здесь http://www.brainhandles.com/techno-thoughts/does-google-index-dynamic-javascripted-content ссылка на эксперимент 2007 года указывающий, что Google не просто читал и выполнял внешние JS, но даже индексировал в них контент. Примерно тогда же об этом говорили и здесь на searchengines.ru

О том что Google давно научился парсить достаточно сложные JS они сами давно не делают из этого секрета http://www.forbes.com/sites/velocity/2010/06/25/google-isnt-just-reading-your-links-its-now-running-your-code/

Toy:
Есть сервером заблокировать бота на этой папке

А все боты представляются?

burunduk:
Toy, palladin_jedi смотрю логи сервера - нет там обращений к данным папкам от пс, только от браузеров пользователей

см. выше

RTFM

yandex.ru/yandsearch?date=&text=google+игнорирует+robots.txt&site=forum.searchengines.ru

Найдено 456 ответов, начиная с 2004 года.

Можно найти то же самое найти на форуме Google

=

Имхо если сильно приспичило бороться с ботами, нужно исходить из того, что боты которые индексируют страницу и боты которые индексируют JS разные. Приходят с разницей по времени (Неделя?), и возможно с разных IP. До кучи можно смотреть еще и referrer

Но стоит овчинка выделки?

glazkovdima:
http://devaka.ru/articles/complex-javascript-for-google ознакомьтесь, думаю вопрос сразу решиться

И примите во внимание, что Google развивается, а утверждение о том что google свято соблюдает robots.txt вызывает сомнение.

HTML5 - набор новых технологий + куча новых говнотегов.

Говнотеги не поддерживаются ~ 40% используемых на текущий момент броузеров. Если вам сильно хочется корячиться и делать две версии сайта - пробуйте нет проблем.

А вот если вы занимаетесь какими-нибудь богатыми бизнес-приложениями, где нет необходимости в поддержке устаревших броузеров, то почему бы и нет? Жизнь существенно упростится.

Вопрос необходимости кроссброузерности - это дело ума не верстальшика, а заказчика.

А дело заказчика - посчитать потерянную прибыль и сопоставить ее с ценой, которую задерут за поддержку IE6-IE7-IE8 разработчики. Если поддержка дороже прибыли то нужно либо отказаться от IE6, либо договариваться об downgrade IE6, либо от обнаглевших разработчиков. Имхо, правильнее будет последнее

ЗЫ

Сейчас занимаюсь сервисом связанным с массовыми интернет-платежами. У меня в голове не укладыватся что-то вякнуть про IE6. Родного и любимого. Хотя начальство не сильно настаивает на его поддержке.

Яндекс не знает про javascript

Остальные не знают про яндекс и его noindex

HTML5 - никак не относится. Проиндексирует как HTML4. Всякие дурацкие теги просто проигнорирует.

Микроформаты - не имеют никакого отношения к HTML5

К нескольким H1 отнесется как к выходке слабоумного, на которую не стоит обращать особого внимания. Кстати вы эти теги не забываете закрывать?

dlyanachalas:
Что конкретно вас раздражает в этой ситуации? Не понятен ваш протест)

Ну как бы Интернет - это не только говносайты. Есть сайты, владельцы которых воздерживаются от заработка на откровенном дерьме.

Я лично не возмущаюсь - спрос большой, нормальных ссылок много, места для говноссылок в Blacklist тоже. Да и не основной это заработок для меня.

Step40:
Вы наверное не оптимизатор?

Я это дело оставил шесть лет назад. Когда еще шли идиотские дискуссии о Кодексе белого оптимизатора.

Dovma:
Тут захожу в САПУ и вижу что с нашего сайта ссылками торгуют

История типовая, поэтому было бы неплохо если бы Вы озвучили детали договора и того кто этим занимался.

У меня клиент нарвался на такое же г...

"Оптимизаторы" которых он нашел стали продавать ссылки на 3-4 сайтах лежавших кучкой на одном ftp. и принадлежащих разным владельцам. Обнаружилось случайно и сколько времени это тянулось неизвестно.

Всего: 2264