Спасибо за помощь товарищи!
И часто они по ресурсам ходят? Какие могут применяться меры поисковиками к 5и ресурсам одной компании, которые отличаются друг от друга, доменами 2о уровня, текстом на гланой странице, фото в галерее и содержанием тегов страниц, и как вариант перелинкованны или не перелинкованны?
В этом вам поможет robots.txt, его составление обсуждалалось здесь - /ru/forum/67692
А что по срокам существования ваших каталогов, после нового года они будут?
FlyAway, респект за ответ =)
User-agent: Googlebot
Disallow: /
User-agent: Scooter
Disallow: /fale/
Disallow: /fale2
User-agent: Slurp
User-agent: StackRambler
User-agent: Aport
User-agent: Yandex
Host: www.site_url.ru
User-agent: *
Слэш после fale и его отсутствие после fale2 это просто опечатка или какая-то фишка? Если запрещать для индексации ничего не надо, нужно ли ставить после Disallow: этот вездесущий слешь, и вообще имеет ли в таком случае смысол писать в роботс строчки с Disallow: ?
Толькошто заметил, получается что .html и .php писать не надо?
Спасибки за ответы =)
Если стрнаица уже запрещена для индексации в роботс нужно ли её заключат в тег ноиндекс или это уже масо масляное?
А как их склеить и зачем это нужно?
