А почему объекты не добавлены в карту? Именно тогда бы и не было заморочек с координатами.
В таком случае Bitmap нужен был бы только для облегчения рендеру участи перерисовки. Ибо пиксели перерисовать гораздо проще, чем векторную математику обсчитать.