mxCircleLayout を使用すると、半径を指定できます。ただし、半径は、グラフの境界に基づいて、半径がデフォルトよりも大きいグラフにのみ影響するようです。mxCircleLayout のソース コード (JGraphX 3.3.1.1) を見ると、230 行目に次の内容があります。
double r = Math.max(vertexCount * max / Math.PI, radius);
ここで、「r」は円レイアウトの半径として使用されます。これはいけませんか
double r = Math.min(vertexCount * max / Math.PI, radius);
半径を小さくしたい場合は?「半径」の意味を誤解しているかもしれませんが、円の場合は自然な意味を持つはずです。線を変更すると、必要な(小さい)円が得られます。