Какие системы координат у вас используются? Декартовые или угловые? Где находится центр координат и центр камеры? Какие параметры камеры?
Если вы используете угловые координаты и Гномоническую (равнолинейную) проекцию то формулы тут:
http://mathworld.wolfram.com/GnomonicProjection.html