Ссылки в скриптах

Полагаю, что не обязательно была разборка скрипта.

Если страница открыта, то в базу поисковика она может попасть не только в результате обхода ссылок сайта. Например, может попасть в результате индексации открытых логов прокси.

Универсальный способ маскировки -- вынести внешние ссылки на одну страницу, которую запретить в robots.txt.

Кстати, интересный вопрос, который, возможно, даст решение проблемы. Если все внешние ссылки оформлять как редирект типа www.site.ru/link/1, www.site.ru/link/2 и т.д., а в robots.txt запретить /link/, что произойдет?

а) поисковик увидит ссылку, и, не пытаясь получить по ней доступ, выкинет ее из очереди на индексацию;

б) поисковик попытается получить доступ к странице и обнаружит, что это внешняя ссылка, и станет ее учитывать.

Более логично поведение согласно п."а" -- если сказано, что нельзя, зачем пытаться? Если это не так (что подтверждается практикой), то кто мешает основных роботов обнаруживать по user-agent и выдавать им ошибку 403? Все это можно сделать на уровне mod_rewrite.

С уважением,

Александр Садовский.

Из приведенных примеров видно, что и разбирать ничего не надо. Особенно во втором случае. Все ссылки "лежат на поверхности". Бери и пользуйся. Меня в данном случае волнует вопрос с передачей PR. Так же интересно, как подходит к этому делу робот - получается, видимо, что он не игнорирует всё в промежутке <script>...</script>, а пытается извлечь то, что можно из имеющегося текста.

Кстати, у меня, однажды, в выдаче Гугля, в кусок текста со страницы попал фрагмент кода счетчика, кажется, Mail.ru, который был между <script> ... </script>

Возможно, но маловероятно, поскольку сайт (текущая его форма и сами страницы с партнерами) довольно свежий. К тому же, Апорт, который тоже знал "спорные" страницы, не копает так глубоко, что бы найти где-то логи прокси.

Бывает. Я заметил, что поисковики криво парсят некоторые вещи в коде страницы. Кстати, этим можно пользоваться. ;)

Они могли и не так глубоко быть зарыты. Кстати, вполне возможно, что один из сайтов, ссылка на который была на этой странице, мог держать открытый отчет, сгенеренный анализатором лога. Вот по реферреру страничку и могли найти. Кстати, Апорт до фига таких открытых очетов знает. См., например: http://sm.aport.ru/scripts/template.dll?r=googlebot+2.1

100% - п. а)

Почему?

Именно таким образом стоят ссылки на Яндексе -robots.txt :

User-Agent: *

...

Disallow: /redir

А все внешние ссылки идут через /redir

Например, с главной ссылка на новости:

www.yandex.ru/redir?dtype=lastnews&url=http://...

-Саша, то есть ты видел, что поисковики нарушают robots.txt?

По моему опыту в Гугле, он никогда не следует по ссылкам, запрятанным в жабаскрипте. По крайней мере никогда не показывает эти ссылки в выдаче по запросу link: для сайта, на который ссылки ведут (PR ссылающейся страницы достаточный для показа ее по запросу link:. Т.е. Гугл игнорирует такие ссылки и PR в Гугле по таким ссылкам не передается. (Кстати, GoogleGuy на WW высказывался в таком духе - вы мол можете консервировать PR как хотите, но никто не даст вам гарантии, что это работает сейчас или не будет работать в будущем)

Что касается линков через редиректы, то Гугль ходит по ним без всяких проблем, даже по таким: /cgi-bin/redir.cgi?p=xxx

Передается ли по ним PR - никто не знает. Taбке, например, утверждал, что передается "какая-то доля", которая зависит от PR ссылающейся страницы и длины(в символах) самой ссылки. Хотя странно это как-то звучит.

по вопросу funsad-а - в Гугле работает пункт а). По крайней мере у меня так внешние ссылки железно закрывались.

Я видел :) Во-первых, robots.txt не оказывает мгнвенного воздействия.

Я и спустя два месяца после закрытия раздела получаю заходы от тормозных роботов. Это видно по 403 ошибке.

Во-вторых, кто-то из разработчиков на этом форуме выссказался в том смысле, что robots.txt можно трактовать как запрет индексации, но не обхода. Причём обходят явно не всё закрытое, а избирательно. Возможно при наличии "интересных" ссылок.

А нельзя ли поподробнее для чайников? :)