Для начала, нет принципиальной разницы, Flash или не Flash.
Начать можно с поисков статей, дающих общую информацию - например,
http://en.wikipedia.org/wiki/Physics_engine и там по всем ссылкам. Потом можно взять любой физический движок с открытым исходным кодом и посмотреть, как делают другие люди. В процессе может пропасть желание делать свой и появиться желание использовать чужой - вполне разумный подход.