Под ссылками подразумеваются ссылки на объекты)
Код AS3:
var a:Shape = new Shape();
var b:Shape = new Shape();
var c:Shape = new Shape();
var d:Shape = new Shape();
arr = [a,b,c,d]
Тормозов поидее быть не должно, тут ситуация немного другая. Главное архитектуру правильно разписать, чтобы вовремя отписывать события, удалять ссылки, очищаться ( как в бане ) с GC))