Проверил через http://webmaster.yandex.ru/addurl.xml - вроде все правильно.
Насколько приемлем этот вариант? Какие могут быть подводные камни?
Ну не должны же за внешние факторы так наказывать. Неправильно это.
User-agent: *
Disallow: /
Allow: /$
Allow: /about.php
Allow: /contact.php
Host: example.com
Правильно?
Нужно для Яндекса, но думаю попутно сделать и для остальных.
Мне кажется это удобным. Политика безопасности *nix-like систем мне как-то ближе. :)
Спасибо! Сейчас еще раз перечитал мануал...
--------------------
Спецсимвол '*' означает любую (в том числе пустую) последовательность символов.
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#asterisk-dollar
Но по идее - это даже лучше.
Ведь я правильно понимаю, сам адрес example.com (грубо говоря, главная страница) проиндексируется, мы лишь запретим индексацию дубликата, который у нас выходит по адресу example.com/index.php ?
В итоге решил не рисковать - с одной стороны, действительно, метод закрытия через htaccess не стоит применять против поисковых систем, разве что против различных парсеров, чтобы не перегружали проект.
С другой - поисковые системы растут не по дням, а по часам, и методы, которые работают сейчас, могут запросто дать сбой уже завтра и все попадет в индекс со всеми последствиями.
Остановился на варианте одной "специально обученной" и закрытой наглухо от индексирования странице. Лучше уж медленнее, но верно, чем быстро, но в бан.
SeVlad, спасибо за предостережение.
Работает так, как предложил md5by - при вынесении кода в отдельный js файл и закрытии именно этого файла. C инклюдом .php - глупо, согласен.
Ходят "обычными юзерами" - это как? Имеется ввиду - счетчиками на всяческих барах? Или сам поисковый робот маскируется?---------- Добавлено 19.11.2013 в 21:57 ----------P.S. Ищу тему, спасибо за наводку.
Код работает. Проверено. Остался последний вопрос. Какие исключения прописать и как, чтобы вместе с роботами не отсечь все браузеры от Яндекс, Mail.ru и подобные...
Поиск молчит, Википедия тоже... http://ru.wikipedia.org/wiki/User_Agent
Как они представляются то вообще?
Кстати, да! Насчет подключить js отдельным файлом - хороший совет. Спасибо!
А вот с точки зрения правильности и работоспособности кода .htaccess у меня серьезные опасения. Увы.---------- Добавлено 19.11.2013 в 11:56 ----------
Нужно на всех.
На одной я и так уже закрыл через robots и продублировал в заголовке:
<meta name="robots" content="noindex"/>
<meta name="robots" content="nofollow"/>
И все ссылки на эту страницу сделал следующего вида:
<a href="url" rel="nofollow">текст ссылки</a>
Можно было к тому же эти ссылки в <!--noindex--> <!--/noindex--> спрятать от Яндекса, но думаю, это уже излишество. К тому же надеюсь найти более приемлемое решение.
Согласно статистике Google AdWords было сделано, скажем 100 кликов. А Яндекс Метрика по рекламе AdWords зафиксировала лишь 75-80 переходов. Остальные визиты либо неверно определяются самой метрикой, либо все таки "львы чего-то недоговаривают".
Спасибо! Скорее всего так и сделаю.
В самом начале пытался работать без входа в гарантию, но тогда еще ключи не были отточены (шло много нецелевых), да и к тому же при ставке ниже "гарантии" кликов было мало, потому и отказался от данной стратегии.
Но, судя по всему, альтернативы при данном бюджете нет.
AdWords удивил следующими вещами:
- Яндекс Метрика vs Google AdWords - соотношение примерно 75% / 100%
- больший процент отказов по сравнению с Яндекс Директ (при аналогичной настройке объявлений);
- ... и соответственно малая глубина просмотров.
