[samana]

Я не думаю, что тут причина в fieldOfView. И скорее всего всё в вашей сортировке правильно. Просто все эти манипуляции с 3d (rotationX,Y,Z, и т.п) это просто имитация искажения объектов как бы в перспективе. И объект можно расположить либо "за", либо "перед" другим. Там нет разбивки на полигоны, просчёта отсечения поверхностей при перекрытии друг другом и т.п, как происходит в программах с 3d графикой. И если у вас какой-то большой цельный объект, на фоне других объектов и всё это крутиться, то такие глюки будут в любом случае.
Можно попробовать разбить большой прямоугольник на несколько частей, возможно сортировка даст результат получше.