Можете еще и title использовать, на многих сайтах h1=title, что на мой взгляд не правильно, и да несколько h1 это действительно пять, еще тогда его выделите в strong b u i что бы наверняка =)
Ознакомьтесь еще с этой информацией http://www.topexpert.pro/1.html
Это сугубо мое предположение. Проверять пока не собираюсь, не к чему. Причем индексация как раз то мне и нужна. А вот анализаторов хотелось бы избавить, вот только что то думаю одним дисаллов / здесь не обойтись... подождем проверим, но не зря же люди конструкции городят.---------- Добавлено 20.05.2013 в 14:40 ----------
Потому что это правильно и не создает таких прицидентов. А в связи с появлением миллионов ботов еще неизвестно что должно стоять по умолчанию разрешение или запрещение, т.к. когда все это завелось, ботов бегало по пальцам можно пересчитать. Да и сам принцип.
И потом если человек запускает сайт и не хочет что бы его индексировали он просто ни чего не далет ни каких телодвижений, если же ему нужны траф с ПСов то он уже начинает решать эти проблемы основываясь уже на их правила.
Проблема в том что изначально это еще нужно знать... Я так сказать не только для себя...
И если все так просто то зачем тогда подобные выкрутасы http://trafficplanet.com/topic/2195-blocking-majesticseo-opensiteexplorer-ahref-spyglass-etc/page-2 ???---------- Добавлено 20.05.2013 в 14:21 ----------
Да именно поэтому я так и сделаю, но я это к тому что этого бомжа наказать законом можно и проблем не будет, а тут придется попотеть если захочешь добиться правды.
А замки на входе во двор то же все вешают. А если не вешают то можно свободно посещать? Я в частном секторе живу и ни на гараже ни во двор замков нет.... Но местное население адекватное и под дворам не ходит в машины возле дома не лезет и при этом мне ни каких Disallow: / на них писать не нужно.
Опять же вопрос почему я должен запрещать а не разрешать. Например отсутствие разрешения в роботс.тхт или этого файла автоматически запрещает сканирование сайта всеми ботами.
Дискуссия не о том как защитить свой сайт, а о том что это прецедент для судебных исков. Я еще раз повторяю почему я должен прописывать всякие правила от яндекса и т.п. а не яндекс спрашивать разрешаю ли я индексацию своего сайта.
Еще пример. Создал например сайт для людей он не закрытый но мне религия не позволяет разрешить индексацию его яндексом и другими ботами которых я не знаю, а только гуглом например, почему я должен заморачиваться с правилами роботсами и запрещать им индексацию если мне проще добавить его в тот же гугл вебмастер разрешив тем самым индексацию и т.п.
В том то и дело что это общемировая практика и общество само породила подобное отношение не если раньше это можно было сделать быстро закрыв поисковики и все на это закрывали глаза, то теперь к ним еще подсели и другие сервисы, например всякие анализаторы и развелось подобных ботоводов тьма.
Но с правовой точки зрения Вы то будете правы. Другое дело что в суды ни кто не идет.
Яндекс просто приходит и берет информацию без разрешения и выносит на общее обозрения не спрашиваю у владельца и не уведомляя его об этом.
Т.е. если замка нет, то вы зайдете? Но в не зависимости от наличия замка это как минимум 139 УК РФ.
Бывает и машину не закрываю =) Но ни кто не заходит ни туда ни туда. Так почему же боты лезут, яндекс не единственный...
И еще не всяким сервисам вроде ПС решать где и как мне хранить информацию. Мое место на сервере это мое лично пространство и без разрешения не зачем туда лезть. И ни в каких законах не прописана что я должен соблюдать их инструкции. Может они будут соблюдать мои инструкции и правила. Создал файл мимо.тхт написал на яндексу вход запрещен и все.
Я еще раз повторяю, защитил я информацию или нет это мои проблемы. Если вы без разрешения берете мою информации да еще выносите ее на общее обозрение то вы нарушаете все возможные законы.
Вот это я и пытаюсь объяснить, что не мы должны защищать, а у нас должны спрашивать.
А вы можете перечислить всех существующих ботов что бы присикать их появление. Может проще изначально разрешать только для тех кому считаете это разрешено делать!
Вы двери в дом закрываете и ставите сигнализации то же для того чтобы ни кто не получил несанкционированного доступа. Вот только если Вы этого не сделаете и даже дверь оставите на распашку и кто то этот доступ получит, то его действия будут не законны.
