[mooncar]

Автор, вам проще всего вставить в квадрат другой квадратик, невидимый и меньший размером, края которого отстоят от границ большого с отступом в диаметр кружка, и проверять hitTest кружка уже с ним.
Как альтернатива - довольно сложный алгоритм непрерывного вычисления hitTest'a точек периметра кружка с квадратом.

PS. И пишите в теме информативные заголовки, темы с такими названиями, как у вас, справедливо закрываются.