User-agent: * Disallow: /page/
User-agent: Yandex
Allow: /
ТС, этим правилом вы разрешили яндексу всё индексировать, при указании user-agent'а (в данном случае для яндекса) он является приоритетом.
Правильней будет так:
User-agent: *Disallow: /administrator/Disallow: /cache/Disallow: /components/Disallow: /images/Disallow: /includes/Disallow: /installation/Disallow: /language/Disallow: /libraries/Disallow: /media/Disallow: /modules/Disallow: /plugins/Disallow: /templates/Disallow: /tmp/Disallow: /xmlrpc/Crawl-delay:Host:Sitemap:
и так:
User-agent: YandexDisallow: /administrator/Disallow: /cache/Disallow: /components/Disallow: /images/Disallow: /includes/Disallow: /installation/Disallow: /language/Disallow: /libraries/Disallow: /media/Disallow: /modules/Disallow: /plugins/Disallow: /templates/Disallow: /tmp/Disallow: /xmlrpc/Crawl-delay:Host:Sitemap:User-agent: *Disallow: /administrator/Disallow: /cache/Disallow: /components/Disallow: /images/Disallow: /includes/Disallow: /installation/Disallow: /language/Disallow: /libraries/Disallow: /media/Disallow: /modules/Disallow: /plugins/Disallow: /templates/Disallow: /tmp/Disallow: /xmlrpc/Sitemap:
При чём sitemap и host(если зеркал нет) не обязательны они в панелях веб-мастера указываются, в вашем случае первый вариант предподчительней, т.к. правила одинаковые кроме сrawl-delay и host (google на них пофиг, но это не значит что ошибка).
+ Disallow: /administrator/ - такие вещи не стоит выкладывать в robots, т.к. он общедоступен, админку лучше переименовать.
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
https://support.google.com/webmasters/answer/156449?hl=ru
P.S. Вы картинки сюда загружаете /images/? При Disallow: /images/ они не будут индексироваться.
Никак, у cloudflare свой редактор DNS-записей. Мучайте регистратора, если сами не можете менять DNS-серверы.
Опции >>> Определение стилей.
Служебные страницы в robots.txt запретите (оригинал 10.1 посмотрите), sitemap можно на cron посадить (чтоб не париться, такая возможность есть), не помешает.
Ни чего у вас не упадёт от этого, если индексацию сайта в robots.txt не запретите в полном объёме? ;) Если и упадёт, то только из-за служебных страниц, если на них есть ссылки. Усё индивидуально, пациента ни кто не видит.:)
https://support.google.com/webmasters/answer/156184?hl=ru&ref_topic=8476
http://help.yandex.ru/webmaster/indexing-options/sitemap.xml
А на хрена вам captcha?
Могу предложить такой (не моё, с вопросами не ко мне), но старый :):
[ATTACH]129820[/ATTACH]
+ как и сказали выше, нужен программист для внедрения cap/чих ;)
Что значит не надо про мобильный шаблон, именно его и надо верстать под ваши задачи. Самое простое, скопируйте основной шаблон в smartphone и удалите не нужные вам строки уже в нём.
И будет вам счастье.:)
Ещё лучше адаптивный шаблон, пс в помощь.
В принципе можно и не покупать, да простит меня Alaev, http://alaev.info/blog/post/3900 , + подумать своей головой и то не панацея.:)
Вас просто предупредили без конкретики, ведь на одном ip могут быть сотни, тысячи сайтов и клиентов и хостер скорее всего заблокирует сам тот сайт/ты которые ддосят. Если вашему сайту это не мешает, то смысла нет, смысл есть когда ддосят конкретно по ip, но на шареде его просто поменяют и без вашего ведома, но как и сказали выше просто выделенный ip от этого не спасёт.
Ага, его всё равно 90% горе web-мастеров использовать не умеют и не умели, как и другие меты. На данный момент эта мета не актуальна или совсем не значима, вопрос спорный, ни кто сейчас не мониторит. Ставят скорее по привычке, а вдруг. Слово "Избегайте" написал такой же горе-мастер.:)
