[alatar]

в тех классах, которые не взаимодействуют с мышей (в твоем случае, скорее всего, везде кроме основного) поставь:
mouseChildren = false;
mouseEnabled = false;
должно помочь.
Мышиные события рассылаются независимо от того подписался ты на них или нет. Поэтому при большом количестве объектов возникают тормоза.