Создайте пустой массив, в который будете добавлять объекты, которые пересекаются с отрезком. Перебирайте объекты и смотрите пересечение с линией. Если пересечение имеет место быть - добавить в массив объект примерно такого вида
Код AS3:
{ object: null, distance: NaN }
(либо заранее определите спец класс) вместо null и NaN подставите реальные значения.
После того, как все объекты будут перебраны, отсортируйте получившийся массив по полю "distance", использую метод sortOn.
Останется только взять первый элемент, если длина массива получилась больше нуля.