<script type="text/javascript">
document.write('<A href="http://www.site1.ru/">Ссылка1</A><br>');
document.write('<A href="http://www.site2.ru/">Ссылка2</A><br>');
// и т.д.
</script>
или, если в ссылках используются "одинарные", а не двойные кавычки, то:
document.write("<A href='http://www.site1.ru/'>Ссылка1</A><br>");
document.write("<A href='http://www.site2.ru/'>Ссылка2</A><br>");
<NOINDEX></NOINDEX> понимает только Яндекс. Очень специфический тег, абсолютно не соответствует стандарту W3C
Можно закрыть конкретные страницы мета тегами
<META NAME="ROBOTS" content="NOINDEX">
Робот Favicon ходит.
Простукивалка Yandex/2.01.000 (compatible; Win16; Dyatel; C) тоже ходит.
Напишите письмо в поисковик, в котором вас забанили, так называемым Платонам.
Если речь идет о Яндексе, по Платоны Яндекса находятся здесь
http://feedback.yandex.ru/?from=webmaster
Это, если только написать лично Платонам всех поисковиков, и то, наверное получишь ответ no comments :)
Если в Яше, то:
http://webmaster.yandex.ru/check.xml
Виноват, неправильно понял вопрос. :)
Дополнение:
Гугль понимает еще к тому же регулярные выражения в роботс.тхт, всякие там звездочки * и т.п.
Динамические урлы - это не регулярные выражения. Поэтому в остальных поисковиках "забанить" get-запрос в url можно.
Закрывать тему рановато.
А с чего вы взяли, что Яндекс не понимает запрет в роботс.тхт динамических url типа index.php?action=print
Вот примеры здесь:
/ru/news/144
Если переменная в get-запросе находится сразу после знака ? - то так и "забанить"
Disallow: /index.php?с=
Disallow: /?с=
если после разделителя & - то ничего не получится.
Не каждый в состоянии разобраться в тонкостях mod_rewrite ☝
А также:
Как минимум, нужно знать синтаксис регулярных выражений.
Иметь элементарные познания о работе Апач.
Нужен локальный сервер, чтобы можно было на нем экспериментировать.
Замена урлов влечет за собой иногда трудоемкую работу по изменению навигации на сайте.
Ну я не могу же тебе посоветовать сделать автоматический дорвей на стороне, который будет через HTTP::Request забирать с твоего сайта адреса страниц и вставлять себе для создания ссылок на твой сайт. :)
Карта поможет, это увеличит глубину индексирования сайта роботами. Попросту говоря, им будет легче и быстрее добраться до твоих новых страниц, которые еще не проиндексированы.
Статические страницы - это просто дело вкуса, урлы выглядят красивее, но роботам - всё равно, что кушать.
joost, я уже посоветовал:
Сделай карту сайта
Ставь внешние ссылки на эту страницу
Если не нравятся динамические урлы, преобразуй их в статические
Больше на данный момент ничего посоветовать не могу 😡