неееет, но при каждом заходе он будет индексировать ограниченное количество страниц )
и не получится что 2 бота зависнут на сайте на 2 дня )
response, ну как, это и будет ограничение, что бы сайт попадал в базу постепенно, а не резко на 3 ап 5к новых страниц...
пусть будет по 200-300 за ап, тогда развитие сайта будет похоже на естественное
ссылки на новые страницы в карту сайта добавлять?
я вот думаю потестить, просто каждый час на странице будут обновляться ссылки на внутренние страницы, процесс будет зациклен...
тоесть, ограничу кол-во индексируемых страниц за раз )
тоесть, если ограничить индексацию, и всё делать постепенно, сайт будет жить?
буду тестить :)
тут возможно по стуку...
но, у некоторых сайтов же и так большая посещаемость, не банят же...
согласен (
aka352, но, что то же произошло...
+1
Но, вот на других проектах новых страниц в индекс не добавилось (хотя судя по логам сервера должны были)
АПом назвать эт сложно, но что то было...
с каталогов ссылок вполне хватает :)
а как появился её дубль?
смотря темы, да и на опыте... всё больше убеждаешься что логики нет, чистая случайность. Просто кому то везет и в индекс при ближайшем апе попадают инфо, а кому то нет.
Возможно, что до этого у домена было плохое прошлое... в чем, лично я сомневаюсь :)
