> При добавлении фишки идем с конца в начало
Нет, идем всередину и с шагом уменьшающимся вдвое каждый раз идем или вправо или влево, взависимости от того, было ли значение больше или меньше. Но это если мы предполагаем, что в массиве есть незаполненные промежутки. Как я понимаю, промежутков незаполненных быть не может, т.как фишек всегда постоянное количество. Т.е. тут просто addChildAt один хватит.
Или, если фишки нужно сначала рандомально перемешать, а потом сортировать, тогда наверное имеет смысл всех удалить, отсортировать и всех добавить обратно, т.как если реализовывать сортировку самому, то добавлений и удалений из списка отображения получится больше, а это затратная операция.