[wvxvw]

там pixelHinting без разницы - попробуй радиусы поменьше поставить - сам все поймешь. Там просто алгоритм какой-то нехороший, который эти углы рисует.

graphics.lineStyle(1);
graphics.drawRoundRect(10,10,100,100,20,20);

graphics.lineStyle(1,0,1,true);
graphics.drawRoundRect(10,130,100,100,20,20);

graphics.lineStyle(1);
graphics.moveTo(20,0);
graphics.lineTo(110,0);
graphics.curveTo(130,0,130,20);
graphics.lineTo(130,80);
graphics.curveTo(130,100,110,100);
graphics.lineTo(20,100);
graphics.curveTo(0,100,0,80);
graphics.lineTo(0,20);
graphics.curveTo(0,0,20,0);

Просто поставь рядом и посмотри на разницу.