в общем заработало)
во-первых координаты задавал не правильно, ну и с кодом перемудрил немного
копирую код создания треугольника или многоугольника:
все вершины должны быть выпуклыми
Код AS3:
bodyDef=new b2BodyDef()
// t1 - имя клипа
bodyDef.position.Set(t1.x/30, t1.y/30)
var tr1:b2PolygonDef = new b2PolygonDef()
//количество вершин
tr1.vertexCount = 3
// координаты вершин
tr1.vertices[0] = new b2Vec2(-18/30, 16/30);
tr1.vertices[1] = new b2Vec2(0, -29/30);
tr1.vertices[2] = new b2Vec2(20/30, 16/30);
tr1.density = 0.5 // плотность
bodyDef.userData=t1
body = m_world.CreateBody(bodyDef)
body.CreateShape(tr1)
body.SetMassFromShapes()