AudioInputStream を介して wav ファイルをバイト配列に読み込んでいます。
AudioInputStream audiofile = AudioSystem.getAudioInputStream(f);
byte[] audio=new byte[numberofframes*framesize];
int bytes=audiofile.read(audio);
データがリトル エンディアンで配置されていることを考慮して、サンプルのバイトを配置する必要がありますか?