0

(私はこれを読み取りファイル参照として使用しています。これは、実装を欠いている Objective-C の手がかりとして、これまでに Objective-C で見た中で最も近い実装として使用しています。)

Swift Playgrounds の 2 つのオーディオ配列から計算された相互相関配列を取得しようとしています。

私がやろうとしている手順 (Python で簡単に実行し、scipy.signal.correlateを使用) は、次の順序です。

  • オーディオ ファイル (2 つの Float 配列として) とサンプル レート (Int のようなもの) の両方を読み取ります。両方がステレオの場合は、両方から 1 つのチャネルのみを選択します。
  • 短い方の配列の最後にゼロ パディングを追加して、両方の配列が同じ長さになるようにします。これは必要なステップです。
  • Accelerateライブラリを使用し、 DSP 関数で相互相関を計算します。
  • 最高の係数 (または相関配列からの「ピーク」値) に関連付けられた相関配列内のサンプルを見つけ、次の計算を行います。
sample_index = max_index - (array_length / 2)
delay_in_seconds = sample_index / sample_rate

以下は私がこれまでに取り組んできたことですが、相関関数で立ち往生しています。vDSP_convまたはcorrelateを呼び出す方法がわかりません。

個人的にはvDSP_conv、古い Apple デバイスとの互換性があるため、 の方が好みですが、動作するスクリプトを実現するだけでも十分です。モック化された配列を渡す vDSP 関数を呼び出す方法もわかりません。ましてや、オーディオ ファイルから取得した配列を使用する場合はなおさらです。

また、スライディング信号の方向に関して、畳み込みと相関の間には概念的な違いがあります。関数でこのオプションを処理する方法がわかりません。引数を としてvDSP_conv渡す必要があると思います。__IF-1

import AVFoundation
import Accelerate

enum ExampleError: Error {
    case mismatchingSampleRates
}

enum TestError: Error {
    case delayCalculationError
    case zeroPaddingError
}

func main() {
    let time_delay: Float = try! get_delay(filename_1: "metronome", extension_1: ".aif",
                               filename_2: "metronome_100ms_delay", extension_2: ".aiff")
    print(time_delay)
}

func get_delay(filename_1: String, extension_1: String, filename_2: String, extension_2: String) throws -> Float {
    var (audio_1, sr_1) = readAudio(filename: filename_1, file_extension: extension_1)
    var (audio_2, sr_2) = readAudio(filename: filename_2, file_extension: extension_2)
    
    if (sr_1 != sr_2) {
        throw ExampleError.mismatchingSampleRates
    }
    (audio_1, audio_2) = append_zeros_at_shortest(audio_1, audio_2)
    let correlation_array: [Float] = [0, 10, 20, 30, 40, 41, 20, 10, 0] //mock value
    return get_time_at_peak(correlation_array, sample_rate: 1) // mock sample rate
    }

func readAudio(filename: String, file_extension: String) -> ([Float], Int) {
    let audioUrl = Bundle.main.url(forResource: filename, withExtension: file_extension)!
    let audioFile = try! AVAudioFile(forReading: audioUrl)
    let audioFileFormat = audioFile.processingFormat
    let audioFileSize = UInt32(audioFile.length)
    let audioBuffer = AVAudioPCMBuffer(pcmFormat: audioFileFormat, frameCapacity: audioFileSize)!
    try! audioFile.read(into: audioBuffer) //not sure why to call this
    return (Array(UnsafeBufferPointer(start: audioBuffer.floatChannelData![0], count: Int(audioBuffer.frameLength))), Int(audioFile.fileFormat.sampleRate))
}

func append_zeros_at_shortest(_ audio_1: [Float],_ audio_2: [Float]) -> ([Float], [Float]) {
    if audio_1.count == audio_2.count {
        return (audio_1, audio_2)
    }
    if audio_1.count < audio_2.count {
        return (append_zeros(at: audio_1, new_len: audio_2.count), audio_2)
    }
    //if audio_2.count < audio_1.count ...
    return (audio_1, append_zeros(at: audio_2, new_len: audio_1.count))
}

func append_zeros(at old_array: [Float], new_len: Int) -> [Float] {
    var new_array = Array<Float>(repeating: 0, count: new_len)
    new_array[0..<old_array.count] = old_array[0..<old_array.count]
    return new_array
}

func get_time_at_peak(_ array: [Float],sample_rate sr: Int) -> Float {
    var center_index =  Float(array.count / 2)
    if array.count % 2 == 0 {
        center_index -= 0.5
    }
    let max_index = Float(array.indices.first{array[$0] == array.max()}!)
    return (max_index - center_index) / Float(sr)
}


func test_get_time_at_peak() throws -> Bool {
    if get_time_at_peak([0,10, 20, 30, 40, 50, 40, 30, 20, 10, 0], sample_rate: 1) != 0 {
        throw TestError.delayCalculationError
    }
    if get_time_at_peak([0,10, 20, 30, 40, 50, 51, 30, 20, 10, 0], sample_rate: 1) != 1 {
        throw TestError.delayCalculationError
    }
    if get_time_at_peak([0,10, 20, 30, 51, 50, 40, 30, 20, 10, 0], sample_rate: 1) != -1 {
        throw TestError.delayCalculationError
    }
    if get_time_at_peak([0,10, 20, 30, 40, 50, 40, 51, 20, 10, 0], sample_rate: 2) != 1 {
        throw TestError.delayCalculationError
    }
    if get_time_at_peak([0,10, 20, 30, 40, 50, 51, 40, 20, 10, 0], sample_rate: 2) != 0.5 {
        throw TestError.delayCalculationError
    }
    if get_time_at_peak([0, 10, 20, 30, 0, 41, 20, 10], sample_rate: 1) != 1.5 {
        throw TestError.delayCalculationError
    }
    return true
}

func test_append_zeros() throws -> Bool {
    let (v1, v2) = append_zeros_at_shortest([1,2,3], [10,20,30,40,50])
    if v1 != [1,2,3,0,0] {
        throw TestError.zeroPaddingError
    }
    if v2 != [10,20,30,40,50] {
        throw TestError.zeroPaddingError
    }
    return true
}

func call_tests() {
    try! test_get_time_at_peak()
    try! test_append_zeros()
}

call_tests()
main()

モックされた配列の代わりに、次のものとの相関を達成しようとしました:

var correlation_array: UnsafeMutablePointer<Float>
vDSP_conv(audio_1, 1, audio_2, 1, correlation_array, 1, vDSP_Length(2 * audio_1.count - 1), vDSP_Length(audio_1.count))

しかし、コンパイル時に次のエラーが発生しました。

タイプ「UnsafeMutablePointer」の値を予期される引数タイプ「[Float]」に変換できません

私も試しました：

let correlation_array: [Float] = vDSP.correlate(audio_1, withKernel: audio_2)

しかし、実行時に次のエラーが発生しました。

エラー: 実行が中断されました。理由: EXC_BAD_INSTRUCTION (コード=EXC_I386_INVOP、サブコード=0x0)。

これにより、結果として空の配列が得られます。

let correlation_array: [Float] = vDSP.correlate([0,10,20,30,20,10,0], withKernel: [0,0,10,20,30,20,10])
4

1 に答える 1