0

人々は、Google Speech API (Speech-To-Text) の使用方法を理解しました。Flash Speex コーデックで動作させようとしていますが、わかりません。各 160 バイトの前にフレーム サイズ バイトを挿入しようとしましたが (一部のソースによると)、これは機能しません。

そこで、Google Speech API が理解できるようにフラッシュ speex バイトを何らかの方法で翻訳するという課題を投稿します。

基本的なフレックスコードは次のとおりです。

<?xml version="1.0" encoding="utf-8"?>
<s:Application xmlns:fx="http://ns.adobe.com/mxml/2009" 
           xmlns:s="library://ns.adobe.com/flex/spark" 
           creationComplete="init();">
<fx:Script>
    <![CDATA[
        // Speech API info
        // Reference: http://mikepultz.com/2011/03/accessing-google-speech-api-chrome-11/,
        // Reference: https://stackoverflow.com/questions/4361826/does-chrome-have-buil-in-speech-recognition-for-input-type-text-x-webkit-speec
        private static const speechApiUrl:String = "http://www.google.com/speech-api/v1/recognize";
        private static const speechLanguage:String = "en";
        private static const mimeType:String = "audio/x-speex-with-header-byte";
        private static const sampleRate:uint = 8;

        // Sound bytes & mic
        private var soundBytes:ByteArray;
        private var microphone:Microphone;

        // Initial setup        
        private function init():void {
            // Set up the microphone
            microphone = Microphone.getMicrophone();
            // Speech API supports 8khz and 16khz rates
            microphone.rate = sampleRate;
            // Select the SPEEX codec
            microphone.codec = SoundCodec.SPEEX;
            // I don't know what effect this has...
            microphone.framesPerPacket = 1;
        }

        // THIS IS THE CHALLENGE
        // We have the flash speex bytes and we need to translate them so Google API understands
        private function process():void{
            soundBytes.position = 0;

            var processed:ByteArray = new ByteArray();
            processed.endian = Endian.BIG_ENDIAN;
            var frameSize:uint = 160;

            for(var n:uint = 0; n < soundBytes.bytesAvailable / frameSize; n++){
                processed.writeByte(frameSize);

                processed.writeBytes(soundBytes, frameSize * n, frameSize);
            }

            processed.position = 0;

            soundBytes = processed;
        }

        // Sending to Google Speech server
        private function send():void {
            var loader:URLLoader = new URLLoader();

            var request:URLRequest = new URLRequest(speechApiUrl + "?lang=" + speechLanguage);
            request.method = URLRequestMethod.POST;
            request.data = soundBytes;
            request.contentType = mimeType + "; rate=" + (1000 * sampleRate);

            loader.addEventListener(Event.COMPLETE, onComplete);
            loader.addEventListener(IOErrorEvent.IO_ERROR, onError);
            loader.load(request);

            trace("Connecting to Speech API server");
        }

        private function onError(event:IOErrorEvent):void{
            trace("Error: " + event.toString());
        }

        private function onComplete(event:Event):void{
            trace("Done: " + event.target.data);
        }

        private function record(event:Event):void{
            soundBytes = new ByteArray();
            soundBytes.endian = Endian.BIG_ENDIAN;

            microphone.addEventListener(SampleDataEvent.SAMPLE_DATA, sampleData);
        }

        private function sampleData(event:SampleDataEvent):void {               
            soundBytes.writeBytes(event.data, 0, event.data.bytesAvailable);
        }

        private function stop(e:Event):void {
            microphone.removeEventListener(SampleDataEvent.SAMPLE_DATA, sampleData);

            if(soundBytes != null){
                process();
                send();
            }
        }       
    ]]>
</fx:Script>

<s:HGroup>
    <s:Button label="Record"
              click="record(event)"/>
    <s:Button label="Stop and Send"
              click="stop(event)"/>
</s:HGroup>
</s:Application>

詳細については、次のリンクを確認してください: http://mikepultz.com/2011/03/accessing-google-speech-api-chrome-11/およびChrome には「x-webkit-speech」入力要素の音声認識が組み込まれていますか? ?

4

1 に答える 1

0

探しているコードは、http: //src.chromium.org/viewvc/chrome/trunk/src/content/browser/speech/speech_recognizer.cc?view=diff&r1=79556&r2= 79557 の 100 ~ 160 行付近にあります。ターン #includes .../viewvc/chrome/trunk/deps/third_party/speex/

ただし、Chrome は 3 月末に Speex から FLAC に切り替えましたが、変更ログには実際の説明はありません -- http://src.chromium.org/viewvc/chrome/trunk/src/content/browser/speech/speech_recognizer.cc ?view=diff&r1=79556&r2=79557 -- したがって、Speex の使用はお勧めしません。一方、誰かが Android のソースを見て、そこではまだ Speex を使用していると言いました。

于 2011-09-16T21:08:02.527 に答える