Это может быть из-за чего угодно: фильтры, входящие ссылки.
Если бы было дело только в количестве слов на странице, то не было бы на этом форуме бурных обсуждений очередного фильтра на несколько сотен страниц.
Если хотите более конкретный совет выкладывайте урл
Разбейте карту на несколько кусков, полторы тысячи ссылок на одной странице карты это действительно ноговато.
упс, не успел :)
А лучше разнести типы документов по отдельным папкам и запретить нужные папки.
Я смотрю юзер агента и если это яндекс то вставляю в <head> страницы
<meta name="robots" content="noindex,nofollow">
Но это нужно чтобы код был открытый.
Можно сделать ns, одноименные с доменом, но тогда IP-шники все равно остаются открытыми.
А как известно сама сеть построена на IP адресах а домены это как бы надстройка и если IP не видно, то соответственно и сайт не будет виден для всех.
Вот очень неплохая статья
http://me.miralab.ru/2007/11/21/sostavlyaem-semanticheskoe-yadro/
Спасибо за анализ. Скрипт партнерки стоит DIAMONDELECTRIC.ru, но на другом айпишнике. По тому IP соотношение трафика 1:10. Да и не такая большая посещаемость у сайта со скриптом чтобы сгенерить 3 гб левого исходящего трафика.
На IP где перекос нет таких партнерских скриптом, все картинки, инфориация, стили грузятся непосредственно с жеского диска сервера.
Выслал в личку четырьмя сообщениями, текст длинный получился а на личке ограничение 5 тыс символов за раз.
Там много очень, несколько экранов, начало:
# sockstat
USER COMMAND PID FD PROTO LOCAL ADDRESS FOREIGN ADDRESS
mail exim 57975 4 udp4 89.108.*.*:63904 89.108.90.129:53
mail exim 57975 5 tcp4 89.108.*.*:25 82.83.160.243:52952
mail exim 57975 6 tcp4 89.108.*.*:25 82.83.160.243:52952
mail exim 57974 5 tcp4 89.108.*.*:25 85.107.214.247:53463
mail exim 57974 6 tcp4 89.108.*.*:25 85.107.214.247:53463
apache httpd 57970 4 tcp4 89.108.*.*:80 83.149.32.58:50666
apache httpd 57970 206tcp4 *:443 *:*
apache httpd 57970 207tcp4 *:80 *:*
apache httpd 57969 4 tcp4 89.108.*.*:80 38.99.13.124:34828
apache httpd 57969 5 tcp4 89.108.*.*:57157 81.176.230.176:80
apache httpd 57969 206tcp4 *:443 *:*
...................................................................
конец:
mysql mysqld 639 195stream /tmp/mysql.sock
mysql mysqld 639 208stream /tmp/mysql.sock
mysql mysqld 639 236stream /tmp/mysql.sock
nobody directadmi 603 0 tcp4 *:2222 *:*
root vm-pop3d 569 0 tcp4 *:110 *:*
mail exim 534 3 tcp4 *:25 *:*
mail exim 534 4 tcp4 *:587 *:*
root sshd 389 3 tcp6 *:22 *:*
root sshd 389 4 tcp4 *:22 *:*
root syslogd 275 3 dgram /var/run/log
root syslogd 275 4 dgram /var/run/logpriv
root syslogd 275 5 udp6 *:514 *:*
root syslogd 275 6 udp4 *:514 *:*
root devd 257 4 stream /var/run/devd.pipe
Нет, по крону точно ничего нет. Это самая первая мысль была, все скрипты по крону запускаемые давно отключены и сервер перезагружен чтобы уж точно убить все процессы левые.
Да, freebsd
# sockstat | grep 64456
root tcpdump 23749 5 udp4 89.108.*.*:64456 89.108.90.*:53
Что-то вообще мало информации в этом ответе.
# lsof -i
lsof: Command not found.
