[Stitch512]

x = (w*screenY+h*screenX-h*offset)/(h*w);
y = -(h*screenX-h*offset-w*screenY)/(h*w);

Добавлено через 1 минуту
Это не готовая формула, это решения вашего уравнения (в Maple решил для гарантии).