Подскажите по индексации гуглом.

nofollow на страницы. можно конечно в роботс закрыть то что не надо или crawl-delay, но скорее всего роботс будет проигнорирован

По опыту могу сказать, что гуглбот жутко наглый, т.е. все что закрыто в роботсе или через метатеги, он все равно скачивает к себе и даже анализирует, но только не засовывает в индекс.

У Вас задача в том, чтобы бот сервер не нагружал? Или в том, чтобы в индекс не попадал материал, которые он скачает?

Вы первый, кого я встретил с таким запросом, то есть многие заказывают прогоны по трастовым площадкам, чтобы боты пс быстрее индексировали странички.

По сути, считаю что боты сами решают когда и сколько раз посещать ресурс, что индексировать и что выдавать в результаты поиска.

В целом, если ваш сайт имеет пополнение контентом и он для бота пс является хорошим (кол-во ссылающихся линков, поведенческие факторы, соц факторы и другое), то он по своей воле будет посещать ресурс и искать новое на нём.

Если хотите сократить количество страниц, ежедневно попадающих в выдачу, то сократите кол-во создаваемых страниц.

Если у вас ситуация имеет иное положение - опишите её.

Ну суть в том, что он начинает очень быстро все индексировать, страничек много, что то типа поисковика.

И через несколько дней, походу после быстрого скачка трафика, сайт банится.

Я хотел попробовать как то снизить скорость роста трафика или открывать этот доступ по своему усмотрению.

Я правильно понимаю у Вас контент не уникальный (копипаст)?

Просьба уточнить, что Вы имеете ввиду под "сайт банится"?

Мне нужно что бы бот не ползал и не индексировал ничего, соответственно не банил итд

---------- Добавлено 26.09.2014 в 19:31 ----------

Ну да, не уник

---------- Добавлено 26.09.2014 в 19:32 ----------

Но раньше, пару месяцев назад вроде сайты держались в индексе, а счас чет больше трех дней после роста трафа банятся

гуглбот все равно будет лазить и скачивать и анализировать даже если запретить это.

Запрет означает лишь только то, что не попадет в индекс.

Он находит у Вас куча не уникального текста, сайт не трастовый и "кукуприехали".

Как вариант - в коде движка определять что зашел гугл бот и давать ему кастарированный контент, т.е. давать скачать только, например, 10 страничек, а на остальные не давать ссылок с этих 10 страничек.

А если ему задать частоту посещения сайта, он послушает?

кроу дилай?

Это не тот параметр, про который Вы спрашиваете, он нужен для другого

Т.е. реальной возможности полностью закрыть боту доступ нет? ОН в любом случае будет ползать и банить сайты?