Сохранённая копия яндекса. Делать или нет?

Верно. Приходится хранить исходный документ хотя бы для формирования сниппета. Вероятно, это не единственная необходимость.

Не думаю, что это будет иметь негативный эффект в обозримом будущем. С другой стороны, Гугл ведь говорит, что возможно ухудшение ранжирования сайтов, запрещающих индексацию вебархивом. Т.е. поисковые системы используют все больше косвенных факторов. В общем, я бы не стал закрывать эту ссылку.

А зачем вам это, если не секрет?

А где он это говорит?

Плюсов не существует. Минус может быть, если вы захотите её сами посмотреть. ( больше никому она на хер не нужна :) )

Я веду самостоятельную статистику переходов по сайту и посетителей (php + mysql)

было замечено что с некоторых ip адресов было обращение в течение нескольких дней только на одни урлы (то есть из 40 запросов к сайту все на одну статью).

Таким образом могут парсить сайт.

Сейчас сайт немного такое вычисляет и банит по ip адресу.

+ если от одного пользователя слишком много запросов за короткое время то он или бот или скачивает сайт (через приготовленный парсер или через прогу-скачивалку).

таких я тоже бану - хорошо что таких не много.

Если человека забанить то он сможет просматривать только через прокси т.к. ip забанен (список прокси пока не знаю где достать).

(я конечно понимаю что вы сейчас начнете говорить что я таким образом мог забанить целую сеть пользователей)

Статей на сайте не много - контент интересный, (100 статей). сайт пока что новый поэтому трастовости нет у него.

а кто упёртый сильно тот может и через сохраненные копии контент вытащить.

вот подумал еще одну дырку закрыть.

Пока сайт будет лезть ввверх по позициям - архивную копию буду оставлять.

Блин, а я думал, если страница уже в индексе с неё нет смысла контент парсить :(

Много денег нет - ресурс пока что некоммерческий.

Первый год будет держаться на чистом энтузиазме (пока посещалка не поднимится)

Уже почти никто не парсит контент на свой сайт с помощью фрэймов (от них спасает яваскрипт)

а вот от php парсера трудно скрыться - поэтому приходится вести наблюдение за подозрительными визитами.

file_get_contents() и регулярных выражений достаточно чтобы полностью онлайн парсить сайт.

Когда посещений станет побольше и ИЦ подрастет тогда можно снять ограничение или сделать его более мягким.

Знаю сайт который недоступен сейчас а у него было 100 тыс.посещений в день с 5000 страниц.

Вот интересно если сайт уже 5 лет в индексе яши то если он после апдейта вылетит а кто-нибудь у себя зальёт копию сайт (вдруг у него такая была) или через сохреннёнку полезет, то когда старый сайт возобновит работу на сколько процентов он сохранит свои позиции