AtomicFlasher, эта формула упрощается до

Код AS3:
public function f(ball:Point, wall:Point):Point
{
var k:Number = 2* (ball.x * wall.x + ball.y * wall.y) / (wall.x*wall.x + wall.y*wall.y);
return new Point(wall.x*k - ball.x, wall.y*k - ball.y);
}
length - это извлечение корня, ну его.