6

私は、mp4parser ライブラリ (isoparser-1.0-RC-27.jar およびspectjrt-1.8.0.jar) を使用して mp4 クリップをマージするアプリケーションを開発しています。2 つのクリップがマージされると、それらは 1 つのクリップになりますが、さらにクリップが追加されると、出力 mp4 にはビデオの後ろにオーディオが含まれます。

コードは次のとおりです。

    Movie[] clips = new Movie[2];

    //location of the movie clip storage
    File mediaStorageDir = new File(Environment.getExternalStoragePublicDirectory(
            Environment.DIRECTORY_PICTURES), "TestMerge");

    //Build the two clips into movies
    Movie firstClip = MovieCreator.build(first);
    Movie secondClip = MovieCreator.build(second);

    //Add both movie clips
    clips[0] = firstClip;
    clips[1] = secondClip;

    //List for audio and video tracks
    List<Track> videoTracks = new LinkedList<Track>();
    List<Track> audioTracks = new LinkedList<Track>();

    //Iterate all the movie clips and find the audio and videos
    for (Movie movie: clips) {
        for (Track track : movie.getTracks()) {
            if (track.getHandler().equals("soun")) 
                audioTracks.add(track);                
            if (track.getHandler().equals("vide"))
                videoTracks.add(track);
        }
    }

    //Result movie from putting the audio and video together from the two clips
    Movie result = new Movie();

    //Append all audio and video
    if (videoTracks.size() > 0)
        result.addTrack(new AppendTrack(videoTracks.toArray(new Track[videoTracks.size()])));

    if (audioTracks.size() > 0) 
        result.addTrack(new AppendTrack(audioTracks.toArray(new Track[audioTracks.size()])));

    //Output the resulting movie to a new mp4 file
    String timeStamp = new SimpleDateFormat("yyyyMMdd_HHmmss").format(new Date());
    String outputLocation = mediaStorageDir.getPath()+timeStamp;
    Container out = new DefaultMp4Builder().build(result);
    FileChannel fc = new RandomAccessFile(String.format(outputLocation), "rw").getChannel();
    out.writeContainer(fc);
    fc.close();

    //Now set the active URL to play as the combined videos!
    setURL(outputLocation);
}

私の推測では、より多くのクリップが追加されているため、ビデオとオーディオの同期が台無しになっていると思われます。2 つの長いクリップがマージされた場合、オーディオ/ビデオは問題ないからです。複数の小さなクリップでビデオとオーディオの同期が不十分になるのを防ぐ方法はありますか、または mp4parser を使用して解決策を見つけた人はいますか? FFMpeg は私が検討している別のソリューションですが、これを使用してこれを行う人は他にいません

編集: 通常、オーディオはビデオよりも長いことがわかりました。そのため、1 つのクリップを作成するためにクリップを追加すると、最終的な結果のビデオが大きくずれてしまうのはこのためです。オーディオサンプルを切り落とすことで解決します

4

2 に答える 2

2

上記のルーカスの答えにコードを入れるだけです：

1.

LinkedList<Track> videoTracks = new LinkedList<>();
            LinkedList<Track> audioTracks = new LinkedList<>();
            double[] audioDuration = {0}, videoDuration = {0};
            for (Movie m : clips) {
                for (Track t : m.getTracks()) {
                    if (t.getHandler().equals("soun")) {
                        for (long a : t.getSampleDurations()) audioDuration[0] += ((double) a) / t.getTrackMetaData().getTimescale();
                        audioTracks.add(t);
                    } else if (t.getHandler().equals("vide")) {
                        for (long v : t.getSampleDurations()) videoDuration[0] += ((double) v) / t.getTrackMetaData().getTimescale();
                        videoTracks.add(t);
                    }
                }

                adjustDurations(videoTracks, audioTracks, videoDuration, audioDuration);
            }

2.

private void adjustDurations(LinkedList<Track> videoTracks, LinkedList<Track> audioTracks, double[] videoDuration, double[] audioDuration) {
    double diff = audioDuration[0] - videoDuration[0];

    //nothing to do
    if (diff == 0) {
        return;
    }

    //audio is longer
    LinkedList<Track> tracks = audioTracks;

    //video is longer
    if (diff < 0) {
        tracks = videoTracks;
        diff *= -1;
    }

    Track track = tracks.getLast();
    long[] sampleDurations = track.getSampleDurations();
    long counter = 0;
    for (int i = sampleDurations.length - 1; i > -1; i--) {
        if (((double) (sampleDurations[i]) / track.getTrackMetaData().getTimescale()) > diff) {
            break;
        }
        diff -= ((double) (sampleDurations[i]) / track.getTrackMetaData().getTimescale());
        audioDuration[0] -= ((double) (sampleDurations[i]) / track.getTrackMetaData().getTimescale());
        counter++;
    }

    if (counter == 0) {
        return;
    }

    track = new CroppedTrack(track, 0, track.getSamples().size() - counter);

    //update the original reference
    tracks.removeLast();
    tracks.addLast(track);
}
于 2016-06-16T23:00:43.310 に答える
1

上記の編集の手法を使用して、この問題を修正できました。トリックは、一緒にマージされているクリップの数を追跡し、最後に追加されたクリップのオーディオ トラックの最後からサンプルを削除することです。結果の出力mp4がより多くのクリップで大きくなるにつれて、最後からさらに多くを取り除く必要があります. これは、オーディオ トラックとビデオ トラックのタイミングの違いが原因の 1 つです。オーディオ トラックが 1020 ミリ秒でビデオが 1000 ミリ秒の場合、5 つのクリップを追加すると、オーディオとビデオの長さのオフセットが約 100 ミリ秒になるため、それを補わなければなりません。

于 2015-05-18T01:40:57.290 に答える