[ZackMercury]

Bletraut, нет.
Ошибка здесь:

b = 4/5 * a;
9 * a * b = x;

Подставляем в уравнение, и получается

9 * 4/5 * a * a = x;

У вас

9 * 4/5 (*a) * a = x;

Это не треугольник Серпинского.
Площадь не может стремиться ни к нулю, ни к нижним треугольникам, так как площадь всех этих и дальнейших треугольников остаётся неизменной(не нулевой)