Не как по другому не сделать, если нужно, чтобы поворачивался в сторону мыши, то как ещё то
Что в коде не так, а ещё бывает, что в дебаг версии тормоза из-за маханий мыши есть, а в релизе нет.
Могут trace тормозить. Но не должно тормозить так, чтобы игра висла.