[expl]

Если алгоритм дюжа сложный - можно так не убиваться по хардкору и настрочить на C#, в 2-10 раз будет хуже чем на C/Pascal, но в разы быстрее чем на as3.
Java, наверно, не стоит брать - там сложнее что-то сделать и не напрячь при этом главный источник тормозов - GC. Возможности вставить критические куски в unsafe-режиме тоже нет.

Это если чисто алгоритм рассматривать. Если он у Вас графику обрабатывает - 95% производительности зависит от библиотеки/графического API/видеокарты, а не от языка.