По поводу этого запроса "продам квартиру в Днепропетровске":
На ваш сайт нет ссылок с этим анкором, на главной, как и в объявлениях нет этого предложения.
На 1 месте стоит сайт с ПР5 ТИЦ 700, то есть можно предположить что у него гораздо больше вИЦ, чем у вашего с ПР1 ТИЦ 10 и притом это предложение есть в точном соответствии. Я не вижу причин, чтобы ваш сайт по этому запросу был выше него.
Нет, не для всех страниц, а только для тех какие нужно закрыть. У меня например хранятся данные о запрещении или о разрешении в базе в поле status.
Согласен что неудобно хранить список исключений в коде, особенно если сайт большой, но ведь некоторые случаи можно описать правилами а не списком.
Это может быть из-за чего угодно: фильтры, входящие ссылки.
Если бы было дело только в количестве слов на странице, то не было бы на этом форуме бурных обсуждений очередного фильтра на несколько сотен страниц.
Если хотите более конкретный совет выкладывайте урл
Разбейте карту на несколько кусков, полторы тысячи ссылок на одной странице карты это действительно ноговато.
упс, не успел :)
А лучше разнести типы документов по отдельным папкам и запретить нужные папки.
Я смотрю юзер агента и если это яндекс то вставляю в <head> страницы
<meta name="robots" content="noindex,nofollow">
Но это нужно чтобы код был открытый.
Можно сделать ns, одноименные с доменом, но тогда IP-шники все равно остаются открытыми.
А как известно сама сеть построена на IP адресах а домены это как бы надстройка и если IP не видно, то соответственно и сайт не будет виден для всех.
Вот очень неплохая статья
http://me.miralab.ru/2007/11/21/sostavlyaem-semanticheskoe-yadro/
Спасибо за анализ. Скрипт партнерки стоит DIAMONDELECTRIC.ru, но на другом айпишнике. По тому IP соотношение трафика 1:10. Да и не такая большая посещаемость у сайта со скриптом чтобы сгенерить 3 гб левого исходящего трафика.
На IP где перекос нет таких партнерских скриптом, все картинки, инфориация, стили грузятся непосредственно с жеского диска сервера.
Выслал в личку четырьмя сообщениями, текст длинный получился а на личке ограничение 5 тыс символов за раз.
