streetbox.ru: будут ли проблемы при обходе роботами (делают ли они свыше 5 запросов в 20 сек?) и не упадёт ли индексация сайта из за этого ограничения (5 запросов в 20 сек.)
Вполне могут делать, если их не ограничивать. Конечно, упадет.
Ограничение не спасет от DDoS-а, оно будет действовать и на обычных посетителей, и на роботов. Оно нужно только хостеру.
Eventually, что за поисковая система?... Направленность и т.п.
Это нетрудно найти двумя кликами, все уже на форуме есть ;).
Считаю, что показ в личку здесь неуместен, здесь форум, всем интересно. Иначе получается сплошной беспредметный флуд.
Еще можно на заборе написать адрес сайта. Но на поисковики это не повлияет.
Кроме содержания сайта и ссылок на сайт, других факторов у поисковиков нет.
- это неверно.
Хост - один или несколько посетителей с одинаковым IP-адресом.
Хост - сервер, где расположен (хостится) сайт.
"ухудшение выдачи по сайту" - справа от термина лучше писать почетче.
А так, в целом, неплохо.
www.google.com/webmasters/ - что там?
Раздел про коммерцию - в другом месте.
А как так возможно сделать, чтобы сайт 404 выдавал?
Все вопросы - к изготовителям сайта, они могут почти все.
будут ли проблемы при обходе роботами (делают ли они свыше 5 запросов в 20 сек?) и не упадёт ли индексация сайта из за этого ограничения (5 запросов в 20 сек.)
Вполне могут делать, если их не ограничивать. Конечно, упадет.
Ограничение не спасет от DDoS-а, оно будет действовать и на обычных посетителей, и на роботов. Оно нужно только хостеру.
кто было сделано
немного уменьшить ризико
streetbox.ru, призываю совершить усилия над собой и выражаться понятнее.
Просто поставили ограничения с одного айпи 5 запросов в 20 сек.
Не нужно с роботами обращаться грубо, лучше использовать понятный им язык.
Вы знакомы с директивой Crawl-delay в robots.txt ?
В соответствии с правилами раздела, вы должны сперва прочитать общедоступную первичную документацию.
Нагрузка будет зависеть в том числе от количества страниц на сайте. У этого форума, например, в Яндексе более 300000 страниц.
К какому именно сайту?