Без пробела конечно же должно быть. обязательно проверьте после всего, как ведет себя сайт. например, можете указать там не yandex изначально а mozilla - эта строчка содержится в агенте вашего браузера. отсутствие ^ говорит "искать в любом месте строки", а наличие - только строчки, начинающиеся с этих букв. В вашем случае самым безопасным будет без ^ - забанится вообще все, что содержит указанного агента. Правильно в теории будет 404. [f] - это 401 forbbiden. На практике и так и так поисковик не получит то, что ожидает
Вот такое вполне подойдет.
Для чистоты эксперимента я изменил страницу по умолчанию на a=join. Но вообще спасибо за то, что указали неточность в изначальных условиях - для того чтобы внести ясность "страница по-умолчанию" теперь не равна странице листинга.
Полностью согласен c Вами, Борис, но откуда поисковику знать про второй урл?
он либо может добавить параметр, который приведет к тому, что страница будет вообще другая, и ссылки пропадут, либо вызовет известный урл, переставив параметры или попытавшись обмануть таким образом:
http://top.klevyi.ru/index.php?a=display&a=1 - в этом случае апач возмет первый параметр а веналити нейм урл - целиком, потому что параметр "a" допустим по конфигурации
Я не говорю, что я о них не знаю, хотя могу и не знать - в этом нет ничего зазорного, потому что только один список CMS для которых существуют "инструкции по установке кода" неимоверно пухл, если слово "пухл" конечно присутствует в русском языке.
Я даже сейчас не хочу спорить с такими уважаемыми людьми, которые знают что это за ЦМСки. Я хочу предложить подумать о 80% которые ставят вордпрессы и модиксы в которых без дополнительных настроек ничего такого не реализовано.
Формулирую. на сайте freightldirect.com стоят автоматически размещенные продажные ссылки разных бирж. Поскольку я очень толерантен и политкорректен, то я не буду называть их по именам - Вы их должны знать и без меня. так вот - в первом блоке (светло сером) стоят ссылки, проданные при помощи этих бирж. Во втором (чуть более темно сером) - ссылка купленная на uniplace.
На http://top.klevyi.ru/index.php?a=display тоже стоит ссылка, купленная на uniplace, если есть желание, могу прикупить на той же странице ссылки с других бирж, но общий принцип понятен - изменяем и дописываем URL'ы и ссылки пропадают.
Задача - отделить контент от ссылок и вывести контент без них.
Дописываем параметры - ссылки пропадают, контент остается.
Если хотите - найдите любые десять продажных ссылок с бирж - с большинством повторится этот трюк.
Да, я согласен, что ручное размещение - это "папка" среди всех сынков. но посудите сами - подобное размещение несколько откидывает нас из века автоматизации?
А если завтра у рекламодателя заканчивается баланс - пойдете снимать? А если концепция поменялась (с) анекдот и рекламодатель захотел изменить тексты ссылок? Я полностью за автоматическое размещение ручных ссылок. А "разделом ошибся" - я приписал что прошу рассматривать это как некий повод задуматься о том, чтобы сделать свои сайты лучше, толще и привлекательнее. Ведь они кормят вас :) - позаботьтесь о них не с нашей помощью, так со своею.
http://freightldirect.com/?#
Вы отодрали "незащищенные" ссылки. нижняя, защищенная, как стояла - так и стоит. 😆
Вот статья Вам по теме - как запретить некоторым роботам ходить к Вам в гости:
http://dataword.info/htaccess-file-and-seo.php
Самописный контент на 3 тысячи страниц - это, конечно, сильно сказано 😆
Но я желаю Вам скорейшего восстановления. Как восстановитесь, добавляйте свой сайт к нам на биржу Большое количество контекста - это всегда хорошо.
Помимо сервиса venality.name для защиты от определения продажности появилось еще одно решение.
пост на форуме
Написал статью, касающуюся непосредственно биржи и защиты ссылок размещаемых в ней.
Если конкретно, то поисковики палят продажные ссылки. Это давно всем известно. Неизвестно, почему так мало людей защищают свои ссылки.
Хотите пример, как поисковики палят ссылки на Ваших сайтах, подставляя вас под непоты, отключение ссылочного ранжирования и прочие напасти?
Например, вот тут ссылки с биржи есть, а вот тут уже нет, хотя страница одна и та же. Или же к примеру, заглавная страница сайта с настроенным .htaccess'ом и ЧПУ, которая казалось бы не имеет get параметров. Дописываем свой параметр и получаем - вуаля, все незащищенные ссылки как ветром сдуло..
Мы предлагаем решение для защиты.
Если сама биржа поддерживает защиту, значительно затрудняя (или даже делая вообще невозможным) получение текста страницы без ссылок, то такое решение очень привлекательно в том плане, что вам не приходится долго возиться с кодом самого сайта и что-то менять и править на нем. Попробуйте "отодрать" самую нижнюю ссылку от текста снизу здесь или здесь или даже с get параметрами здесь . Это не Fake - ссылки на этих сайтах вы можете купить сами через UniPlace и убедиться в том, что ваши будут стоять так же крепко.
Такие ссылки невозможно определить автоматически, да и руками то не всегда получится. Всю же работу в данном случае делает биржа UniPlace, на которой расположены данные сайты.
Приятного использования :)
