問題タブ [ssim]

SSIM が 2 つの画像の類似度を測定する方法であることは以前から知っていました。SSIM スコアによる処理済み画像の品質の判別方法。メソッドには最大値または最小値が基準としてありますか?

Linux デスクトップ サーバーと Android クライアントのストリーミングの品質を比較する必要があります。そのため、Linuxサーバーからの画像とAndroidクライアントからの画像の2つの画像があり、解像度が異なります。

私の質問は、これらの 2 つの画像の間で SSIM を計算する方法です (ソリューションへの指示だけでコードは必要ありません)。私はすでに C++ で SSIM コードを持っていますが、同様の解像度間で比較します。

ありがとう

入力ストリーム (mxf または mov) から生成された mp4 ビデオ ストリームを取得しています。これを行うときに-psnr、H264 パラメータとして使用しています。結果は約です。40または41。

次に、入力と出力を psnr (または ssim) フィルターで比較しています。結果は約。20か21。大きな違いです。この違いの理由を知っている人はいますか？

注: ssim の結果も同様です。1 つ目は ~0.97、2 つ目は ~0.83

PSNR

SSIM

FFmpeg で SSIM のベンチマークを試みています。私がこれをしたら

コマンド ラインで SSIM と PSNR を取得します。-tune を追加すると、これらの結果が得られなくなります。何が起こっている？

ビデオ ストリームと元のビデオの間の ssim ビデオ品質スコアを確認したいのですが、うまくいきません。助けてください。
私が使った -ffmpeg -i rtp://@:5004 -i sample/nkp.mkv -filter_complex "ssim" "temp.mp4"

次のエラーが表示されます。
udp_resolve_host: nodename nor servname provided, or not known rtp://@:5004: Invalid data found when processing input

ffmpeg はフレームごとの比較によって ssim スコアを計算する
ため、参照ビデオ (ref.mp4 など) をビデオ ストリームに正確に合わせて、対応するフレーム (両方のビデオの i 番目のフレーム、すべての i ) は ffmpeg によって比較されますか? 助けてください。

3D numpy 配列として保存された 2 セットの画像があります。すべての画像は同じサイズ (28X28) です。compare_ssim を使用して、各セットの画像を相互に比較したいと思います。私は非常に遅い以下のコードを書きました。numpy.apply_along_axis を使用してベクトル化しようとしましたが、これは X.shape<>Y.shape エラーで失敗します。助言がありますか？

TensorFlowのSSIMまたはMS-SSIM実装はありますか?

SSIM ( structure similarity index metric ) は、画質や画像の類似性を測る指標です。これは人間の知覚に触発されており、いくつかの論文によると、l1/l2 と比較してはるかに優れた損失関数です。たとえば、画像処理用ニューラル ネットワークの損失関数を参照してください。

これまで、TensorFlow での実装は見つかりませんでした。そして、C++ や Python コード ( Github: VQMT/SSIMなど) から移植して自分でやろうとした後、 TensorFlowでガウスぼかしを画像に適用するなどの方法に行き詰まりました。

誰かがすでにそれを自分で実装しようとしましたか?

元のビデオからいくつかのフレームを削除して生成したビデオの PSNR 値を計算しようとしています。また、フレームが削除された場合、ビデオには前のフレームが表示されると想定しています。そういう意味では、生成された動画のQoEを測りたい。

まず、PSNR は役に立つと思います。しかし、PSNR 値を計算しようとすると、2 つのフレームが同一であるため、無限大の値が表示されます。その場合、無限値をどのように処理できますか? 同一のフレームを処理する一般的なルールはありますか? (たとえば、無限値を無視し、非無限値のみを平均します)。

上記の問題は、フレーム レートが異なる 2 つのビデオを比較する場合と似ている可能性があります。フレームレートが異なる 2 つのビデオの PSNR を比較するにはどうすればよいですか?

また、上記の場合にSSIMを利用する場合はどうすればよいですか？

ありがとうございました

以前は、SSIM インデックスを計算する Avisynth スクリプトを使用して、ビデオ エンコーディングの品質をチェックおよび調整していました。何らかの理由で、Windows 10 に移行して以来、パフォーマンスが大幅に低下しています。その後、少なくとも 10 倍高速に実行される ffmpeg ssim フィルターについて知りました。しかし、私はこれらの問題を抱えています:

• どちらの方法でもどのアルゴリズムが使用されているのか、または違いは何なのかわかりません。

• さらに重要なことは、多数のビデオ ファイルに対して各方法の結果をプロットすると、相関関係が事実上ゼロになることです。avisynth SSIM では、h.264 CRF ファクターとの間に良好な相関関係が見つかりました (予想どおり) が、その相関関係は ffmpeg SSIM では消失します。

ffmpeg SSIM フィルターが本当に機能するかどうかを確認した人はいますか?

編集: 2 番目の点についてさらに調査する必要があります。実際には、さまざまなビデオの小さなサンプルでffmpegの相関関係は見つかりませんでしたが、単一のビデオサンプルのCRFとSSIMの間の両方の方法に優れた相関関係があります.