VTKとOSGは実際には異なる問題を解決するので、どちらを使用するかは、何を達成しようとしているかによって異なります。VTKは主に科学的な視覚化を目的としているため、データの視覚化アルゴリズムを対象としています。シーングラフモードで動作する機能があるかもしれませんが、それは主に、異なるデータセットを相互に登録(オーバーレイ)できるようにするためです。これは、実際には任意のシーンを表現することを目的としたものではありません(ただし、それにシューホーンを付けることはできます)。そうです、OpenGL呼び出しとVTKを混在させることは意図されていません。繰り返しますが、それは可能ですが、必ずしも簡単ではありません。
一方、OSGは、SGIのパフォーマーの精神的な後継者であり、任意のグラフィックシーンを対象としています。それはシーングラフのメタファーに大きく依存しているので、読んでおくことをお勧めします(ウィキペディアにはまともな記事があります)。私はそれについてあまり経験がありません(物事のsci-vis側にいること)。
要するに、体積データの等値面、流れ場の視覚化、または科学データから派生した他の視覚化を表示したい場合は、VTKを使用してください。ある種の仮想世界を実装しようとしている場合は、OSG(または同様のもの)を使用してください。あなたが何か他のことを成し遂げようとしているなら、私たちに知らせてください、そしておそらく誰かがあなたのニーズにもっと適切なツールを推薦することができます。