Что будет если переименовать Main активити в новой версии приложения?

Поведение неопределенно и зависит от реализации приложения-лаунчера, установленного на устройстве пользователя.
В лучшем случае иконка приложения останется в меню приложений и на рабочем столе и для пользователя все пройдет без изменений.
В худшем – на рабочем столе останется иконка приложения при нажатии на которую лаунчер будет пытаться запустить активити по старому имени. С точки зрения пользователя это выглядит будто приложение перестало работать и может привести к удалению приложения.
Следует помнить об этом сайд эффекте при рефакторинге приложения.