マーカー間の距離を求めたい

純正のARtoolkitを使うと2マーカー間の距離などは
arUtilMatInv(config->trans, wmat1);
arUtilMatMul(wmat1, object[0].trans, wmat2);

こういったメソッドが用意されているようです。