# Tells Scanning Robots Where They Are And Are Not Welcome
#
# User-agent: can also specify by name; "*" is for everyone
# Disallow: disallow if this matches first part of requested path
#
# For now disallow all we can modify this as needed to allow certain crawlers.
#
Елистратов: Вводищь урл страницы. Сервер выдает 404 ошибку и все
Нет. Частотребуется очень много времени. Не забывайте, что очень многие сайты, отдавая свою страницу с сообщением 404, всетаки передают HTTP/1.1 200 OK.
Елистратов: А это может сделать не только вледелец сайта
JonnyB, А для Вас новость, что яша, как и гуглер к robots относятся именно так, как и указанно в стандарте. Это рекомендация, а не правило.
Это о гугле
http://www.seonews.ru/news/.context_adv/1947/
Maximus325,
Все согласно указаниям
#
# User-agent: can also specify by name; "*" is for everyone
# Disallow: disallow if this matches first part of requested path
#
# For now disallow all we can modify this as needed to allow certain crawlers.
#
User-agent: *
Disallow: /search
Disallow: /sidebar
Disallow: /advanced
Disallow: /alchemist
Disallow: /customize
Disallow: /go
Disallow: /go2
Disallow: /cgi-bin
Disallow: /g/
Disallow: /web
Disallow: /r
Disallow: /babelfish
Disallow: /urltrurl
Disallow: /translate
Disallow: /image/results
Disallow: /image/samepage
Disallow: /image/res_detail
Disallow: /audio/results
Disallow: /audio/samepage
Disallow: /audio/res_detail
Disallow: /video/results
Disallow: /video/samepage
Disallow: /video/res_detail
Disallow: /news/more
Если уже нет и выдается 404, то удалить можно самому и быстро. Если страница есть, но на ней нет резюме, то только ждать переиндексации.
через обычную удалялку яши - 5-6 апов. По моим наблюдениям.
Вводищь урл страницы. Сервер выдает 404 ошибку и все
Нет. Частотребуется очень много времени. Не забывайте, что очень многие сайты, отдавая свою страницу с сообщением 404, всетаки передают HTTP/1.1 200 OK.
А это может сделать не только вледелец сайта
Грош цена хостеру, кто допускает обратное.
yngwie_malmsteen, Очень рекомендую. Чтобы познать "темную сторону" силы (SEO) нужно познать саму силу. Пока, вы даже путаетесь в терминах.
зачем по одинаковым? Весь ТОП по конкурентному запросу занять не дадут Не рационально.
Поверьте, при правильном подходе - все очень приятно и экономически оправдано. Но желательно, чтобы сайты визуально отличались.
Всеравно, желательно чтобы диз разный был, а то будут как саттелиты.
Хороший сателит, это и сайту хорошо, и юзерам - удобно.
Яндекс склеивает ссылки, а не сайты
И зеркалами они являться тоже не будут, так как доменные имена разные
Вы бредите!!!!!!
Вообще, по какому принципу Яндекс склеивает сайты?
Поводом для склейки может быть тольок контент. Все остальное на склейку не влияет.
(Идет разговор именно о варианте, когда в выдаче остается тольок один сайт - главное зеркало)
Информация на сайтах разная,
На сколько? При малых отличиях - склека возможна.
Им оно, наверно, кажется правильным.
а разве есть варианты.??? И мне кажется правильным! Какой смысл писать против ветра.