[caseyryan]

Это интуитивное решение было у меня первым, но по каким-то причинам оно не работает...

Значит в методе addEventListener при добалении слушателя мыши нужно было задать параметр useCapture = true