Баны доров (ру)

Есть мысль что некоторые доры банятся еще на уровне попадания в индекс. А по большим дорам, то действительно сейчас они живут обычно 1 ап после попадания в индекс большого количества страниц - 50 - 100 К. То есть идет всплеск трафа до следующего апа и тишина, полный бан.

И что самое интересное, последнее время заметил бан доров и в междуапье.

тут возможно по стуку...

но, у некоторых сайтов же и так большая посещаемость, не банят же...

гм. но динамика набора этой посещаемости ведь разная.

тоесть, если ограничить индексацию, и всё делать постепенно, сайт будет жить?

буду тестить :)

не знаю, это лишь предположение. я вообще не сваливаю никогда кучу страниц, а сначала бквально пару десятков, потом каждый день-два автоматом тулза сливает обновления, забитые на пару недель вперед.

зы

важное уточнение: я не чистой воды доры кладу. скорее сплоги.

ссылки на новые страницы в карту сайта добавлять?

я вот думаю потестить, просто каждый час на странице будут обновляться ссылки на внутренние страницы, процесс будет зациклен...

тоесть, ограничу кол-во индексируемых страниц за раз )

угу, в карту, либо с морды, есть карты как таковой нет.

нидогнал. почему каждый час? почему не после захода работа? ведь может случиться так, что робот будет заходить ровно тогда, когда на сайте будт стоять один и тот же блок ссылок )

response, ну как, это и будет ограничение, что бы сайт попадал в базу постепенно, а не резко на 3 ап 5к новых страниц...

пусть будет по 200-300 за ап, тогда развитие сайта будет похоже на естественное

к вам робот каждый час заходит, фиксированно?

неееет, но при каждом заходе он будет индексировать ограниченное количество страниц )

и не получится что 2 бота зависнут на сайте на 2 дня )