[Котяра]

следите за фокусом. во время смены фокуса - отключайте слушателей колеса у предыдущего фокуса и включайте на текущем.
как определять что в фокусе - уже ваше дело (можно по координатам мыши, можно по хиттесту, можно еще как..)