разбору подобных формул в книге по языку C (Си) была посвящена отдельная глава. Основной принцип в рекурентном вызове функций обработки определеный символов. Точно уже не помню, а коду там было прилично
Поищи в инете "синтаксический разбор формул" или что-то в этом роде