У метода
hitTest есть параметр shapeFlag, который указывает, надо ли проверять пересечение по реальной заливке или по ограничивающему прямоугольнику. Флаг работает только при проверке на координату (например, если проверяем нахождение курсора мыши над объектом).
Для проверки реального совпадения заливки одного объекта над другим используют другие методы (например, последовательно проверяют пересечение с границей). На форуме есть темы, но ссылку вам быстро не найду, поскольку специально не отслеживал.