Можно и продублировать, если в HTML ссылка из текста будет раньше (выше), чем ссылка из сайдбара. Тогда поклеит в сторону текста (см. Wikipedia в качестве примера: сначала богатый ссылками контент, потом — навигация).
Google уже сто лет распознает назначение блоков страницы, так что внешние ссылки в сайдбарах и подвалах давно не несут никакой пользы, одно лишь палево.
Вот когда будет такая фигня, а код в «шапке», то сайт будет грузиться полвека. А это чревато потерей клиентов.
100%
Да, по делу.
Ваш сайт? Эта тема меня интересует и парит, поэтому подписался на RSS.
Так как я тут почти напортачил, придется углубиться и посмотреть пациента поглубже. Я в скором времени напишу что оставить в роботс, а что пихнуть в htaccess.
UPD
Блин, а где пациент?
Чисто для информации: запихивать javascript в <head>*— плохая идея. Он должен загружаться тогда, когда страница уже показалась в браузере (UX).
Сорри, там у меня ошибочка... Должно быть не 404 Not Found, а 403 Forbidden.
Код для начинающегося с domain.com/clickthru (не проверил, но вроде так):
RewriteRule ^clickthru - [F,L,NC]
UPD:
Я только что задумался: вы не рассказали для чего это все нужно. Так что такое решение может не годиться. Ибо Forbidden будет для всех, не только поисковиков. Если под clickthru у вас редирект куда-то, то вообще ничего не нужно делать.
Таким образом решение проблемы перекладывается на Google. А если его четко перенаправлять, то ему и не нужно будет ничего решать. Неизвестно что там у него в голове происходит и доверять нельзя.
Я бы не стал удалять что-то через админку. Неосторожное движение — и можешь делать новый сайт. Быстрее сделаешь новый, чем вернется старый.
Популярные товары вне своих категорий — зло. Чем чище тема, тем выше позиции по ней. http://www.google.com/search?q=seo+siloing
Исходя из этого астериски не нужны.
На самом деле нужно пользоваться не robots.txt, а средствами сервера, например, .htaccess. Отдаете 404 по вашим правилам и нет проблем.
Более того, не все боты следуют указаниям robots.txt, хотя и читают его. А таким файлом вы рассказываете им какие у вас еще есть папки, кроме доступных по ссылкам. Неизвестно назначение тех ботов и как будет использоваться такая информация в будущем.
301.
P.S. Что, в студии оптимизаторов никто не в курсе? :)
