AVV

AVV
Рейтинг
84
Регистрация
31.07.2006

Наверное некоторые порталы вылетают, чтобы освободилось место для других, которым одной позиции в топе не хватает.

Пример: по запросу "порталы" http://www.yandex.ru/yandsearch?text=%EF%EE%F0%F2%E0%EB%FB&stype=www

первые 4 места занимают субдомены одного сайта - edu.ru

bizness_man:
Видать не у всех моргает,

Как раз, наоборот, видать только у вас и моргает. ;)

P.S. Один раз моргнуло у Каширина, и то, случайно. Вроде как нет там ничего в коде страницы, чтобы заставляло эту страницу моргать. Я посмотрел, хотя, может невнимательно? Если найдете что, напишите, просто теперь уже интересно.

zig:
Хм, а где же в этом списке пристроить narod.ru со своими тоннами спама и барахла?

zig, в данном случае, вы немного напутали. Narod - это бесплатный хостинг, а не портал. Сайты там разные, и, грубо говоря, принаждежат владельцам, а не "народу".

Вот livejournal или liveinternet - это другое дело.

Говоря о том, что нам, маленьким сайтикам, становится легче, я имел в виду, что чем больше посетителей не найдут в Яндексе большие ☝ забаненные или выпавшие порталы, тем больше их уйдет искать на альтернативные поисковики, и, заодно, найдут там наши "маленькие забаненные (или выпавшие) сайтики".

Поддомен 3-го уровня - это отдельный сайт. В каждом может быть, если нужен, отдельный файл роботс.тхт

Никакого отношения эти домены к домену второго (!!!) уровня site.ru не имеют.

Если есть домены 4-го уровня (зеркала), например, WWW.domain2.site.ru, то для доменов domain2.site.ru и www.domain2.site.ru в роботс нужно указать основное зеркало, напрмер, Host: www.domain2.site.ru

то же самое и для domain1.site.ru и WWW.domain1.site.ru

если у вас нет зеркал 4-го уровня, таких как www.domain2.site.ru

то Host: для доменов 3-го уровня domain2.site.ru указывать не надо.

andrej-ilin:
Вторая запись в этом примере лишняя, так как первая запрещает индексацию всех документов, адреса которых начинаются на /bad

В данном случае, да, лишняя.

filosof:
Кому-то плохо от того что км.ру пессимизировали?

Честно говоря, мне тоже км.ру никогда не нравился.

И, если это не выпадение, а бан, то и подход Яндекса правильный, показывающий, что Яндекс одинаково объективен ко всем, и не делает различий, маленький сайтик это, или km.ru или вообще mail.ru ☝ - провинился, значит в бан.

Во всяком случае, хотелось бы верить в эту объективность. Тогда нам, маленьким забаненным сайтикам становится как-то легче. :)

Recoil:
Ну, и чтобы не создавать лишнюю тему, сразу спрошу - как вообще можно защитить картинки на сайте от тотального скачивания прогами?

Интересное решение, чтобы предотвратить установку ваших картинок на другие сайты:


Предположим что мы имеем на http://www.site.ru/ некоторые страницы на которых у нас есть графические изображения. Эти графические изображения очень хороши, поэтому другие могут помещать их на свои страницы прямо через гиперссылки. Нам не нравится эта практика потому что она добавляет бесполезный трафик для нашего сервера.

Решение:

В то время как мы не можем на 100% защитить наши картинки от вставки на другие страницы, мы, по крайней мере, можем ограничить случаи в которых браузер посылает HTTP заголовок Referer.

RewriteEngine on
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://www.site.ru/.*$ [NC]
RewriteRule .*\.(gif|jpe?g)$ - [F]

Полный текст см.: http://www.egoroff.spb.ru/portfolio/apache/rewriteguide.html

Если на сайте только файлы bad.php и bad2.php

и нет файлов c таким же именем, и другим расширением, например, bad.html и bad2.html, которые нужно открыть для роботов, то не надо.

Disallow: /bad

Disallow: /bad2

закрывает для индексации все файлы, начинающиеся с /bad и /bad2, в том числе и /bad.php и /bad2.php

Новичек:
Поставьте себя на место Яндекса. Как бы вы поступали чаще?

Трудно сказать. Поставить себя на место Яндекса не получается. Каждый работает на своем месте. :)

Если речь идет все-таки о бане, а не о выпадении, думаю, все зависит от конкретного сайта и от величины его "греха" или "огреха". Причины попадания в бан ведь разные.

FlyAway:
AVV, можно ещё короче ;)

Спасибо. Я знаю. Это я написал, как общий шаблон. Вдруг Android потребуется закрыть разные страницы для разных user_agent и дописать их в эти правила конкретно для Гугля, Яндекса и др. роботов. То есть - общие правила для всех, плюс какие-то еще отдельные страницы для Яндекса, а какие-то для Гугля.

В любом случае, любая подсказка или совет не отменяет необходимости думать самостоятельно. :)

Всего: 3259