Может ли сайт вылететь из топа из-за старого дизайна?

С ТОПа только за старый дизайн вряд ли вылетит). У меня один инфопроект на дефолтном шаблоне вордпресса (лишь цветовую гамму изменил и некоторые элементы минимально), 3 года сидит, посещалка только растет

а вот при переносе на новый дизайн просадка вполне возможна (может кратковременно, но гладким и стабильным переезд точно не будет).

Асессоры влиять могут, но думаю, из-за дизайна вряд ли что то плохое сделают (в выдаче полно ГС, им и нужно бояться, а если еще и контент качественный, то такие факторы как старый дизайн не такие уже и значимые)

Ну а что касается менять/не менять, здесь решать только вам. Я себе все таки планирую менять, хочется лучшего (только при переезде на новый дизайн максимально все проверять нужно: мета теги, Н1, объемы индексируемого текста на странице, др. индексируемые блоки текста, ссылки, внутр перелинковку и т.д)

Максимально в общем все под контролем держать нужно

Иными словами ребрендинг :)

Ассессоры могут повлиять на оценку поисковой авторитетности сайта.

Может быть и такое.

Менять (если это оправданно рекламными/производственными задачами), но очень внимательно изучать код и сравнивать. В идеале вам нужно новый код верстки подвести под старый код с синхронизированным соответствии старой структуре, но кроме этого, новый сайт нужно будет технически проверить и погонять чекалками а-ля xenu.