問題タブ [google-project-tango]

Project tango はフレームごとに視覚的特徴 (ORB や SIFT/SURF など) を抽出しますか? またはポイント クラウド全体が深度カメラから抽出された 3D ポイントです。もしそうなら、彼らが使用しているアルゴリズムを知ることは可能ですか? 角だけですか？

対応する機能とともに 3D 点群をダンプしたいと思いますが、それがすべてリアルタイムで可能かどうか疑問に思っています。

Tango タイムスタンプを外部センサー データと同期するための推奨される方法は何ですか? デバイスのどこかに利用可能なハードウェア clkin/clkout 信号はありますか? もちろん、一定値の調整を適用することもできますが、クロック同期のようにクロックのジッターやドリフトを修正することはできません。これらは重大なエラーの原因となる可能性があります。

私の場合、指向性アンテナ アレイを Tango に物理的に接続したいと考えています。同期されたソフトウェア定義無線 (SDR) HackRFs http://greatscottgadgets.comで RF データをキャプチャします。; RF サンプルを姿勢およびカメラ データと関連付けます。これにより、計算された位置をマップに重ねることで、歩き回って 20MHZ 帯域幅内の複数の断続的なスプリアス RF 送信をすばやく見つけることができます。正しい例: 私は FIRST Robotics Competition の制御システム アドバイザーです。潜在的に危険な大型ロボットは、WiFi 信号を使用して高校生によって制御されているため、制御信号の完全性に対する脅威を排除することが重要です。これにより、ピット内の正確にどのチームがプリンターの WiFi を誤ってオンにしたかを同時に確認できました。スタンドの誰が携帯電話からフィールド管理システムの信号を積極的にハッキングしようとしているのか。ロボットにはすでに CAD モデルがあるため、後で試合をシミュレーションするために、フィールド上のロボットの動きを追跡します。ブロードキャスト カメラ フィードがオンになったことを確認します。誰かが熱いラジオマイクをなくした場所を見つけます。

同じ同期を必要とする可能性のある他の要素は、相関するソナー センサー データをオーバーレイします。赤外線熱カメラ データ、太陽の影響データ、リアルタイムの風速と風向ベクトル場、リアルタイムのクアッドコプターの群れの位置、炎を検出するためのパイロ センサー、消防士が燃えている建物内の呼吸可能な空気のポケットを特定するための O2 および CO センサーなど、基本的にリアルを必要とするあらゆる状況時間状況認識。
edit+ 同期により、複数の Tango デバイスを接続して完全な球体キャプチャを実現することもできます。処理負荷の共有と環境キャプチャの高速化に加えて、この時点でそれが何に役立つかはわかりませんが、何かがあるに違いありません.

デバイスを最新の (ライプニッツ) リリースに更新したばかりですが、いくつかの観察/問題があります。

1) アプリで、ポーズ データが無効になる断続的な期間が長くなります (2 ～ 3 秒)。この問題は Tango Explorer でも発生するため、ドライバーに問題があると思います。エクスプローラーを起動してそのままにしておくと、「モーション トラッキングが失われました」というダイアログが表示されたり、表示されたりします。誰でもこれを確認できますか?

2) TangoService_connectOnFrameAvailable() コールバックのカラー バッファが戻ってきましたが、リリース ノートに記載されているように YUV420SP です。タンゴ開発者の誰でも、これを RGB に変換するコードを投稿できますか。このようなことをグーグルで検索できることは知っていますが、TangoImageBuffer の幅、高さ、ストライドなどに関連するサンプルがあるとよいでしょう。

Leibniz リリース 1.10 にもカラー フレームの受信に関する問題があるようです: コールバックを使用し TangoService_connectOnFrameAvailable(TANGO_CAMERA_COLOR,NULL,onFrameAvailable)てコールバックを登録すると、コールバックonFrameAvailable()が呼び出されないかTangoService_connectOnFrameAvailable()、次のエラーでクラッシュします。

04-20 13:29:44.384: E/tango_client_api(4712): TangoErrorType TangoService_connectOnFrameAvailable(TangoCameraId, void*, void ( )(void , TangoCameraId, const TangoImageBuffer*)): 内部エラー: connectSurface(), カム id 0, 失敗しました初めの。

リリースノートによると

[...] config_enable_color_camera が構成フラグに追加されました。カラー カメラにアクセスする場合は、常にこのフラグを明示的に true に設定することをお勧めします。TangoService_connect() が呼び出された後に成功するには、TangoService_connectOnFrameAvailable() または TangoService_connectTextureId() のフラグを true に設定する必要があります。[...]

したがって、 と の呼び出しの間にそのフラグを trueに設定すると、常にクラッシュする前にそのフラグを true に設定すると、コールバックが呼び出されることはありませTangoService_connect()んTangoService_connectOnFrameAvailable()。onFrameAvailable()TangoService_connect() TangoService_connectOnFrameAvailable()

したがって、私は何を間違っていますか？利用可能なコードスニペットなどはありますか? それは本当に役に立ちます...残念ながら、どの例もカラーフレームを使用していません...

男、カルマン リリース 1.9 で同様の問題が発生した後、SDK が最初にリリースされる前に徹底的にテストされているかどうか疑問に思うようになりました...

Leibniz が廃止されて以来、Tango ユーザーの大部分が問題を経験しているようです。別のスレッドでこの投稿を見つけたので、更新後にアプリが非常に不安定になっているのはそのせいかもしれないと思いました。

これは次のとおりです: Google Tango Leibniz Release 1.10 を使用すると、TangoService_connectOnFrameAvailable() がスタックまたはクラッシュする

「申し訳ありませんが、問題が発生しています。これはまだ発生していますか? PlayStore で TangoCore が更新されてから OTA が終了するまでのタイミングに少し余裕があったため、質問しています (この問題が発生する可能性があります。 OTA と TangoCore が一致していない場合。診断する前に、TangoCore と OTA の両方が更新されていることを確認してください。また、Android マニフェストでカメラのアクセス許可があることを確認してください。」– r4ravi2008

私が問題を抱えている理由は、上記の不一致があるためだと確信しています。Google Play から Tango Core を更新しましたが、[タブレットについて] に移動すると次のように表示されます。

ビルド番号: KOT49H.150320 また、私のカーネル バージョンの更新日は 3 月 20 日金曜日です。

このビルド番号は、ここで参照されているビルド番号とまったく同じです: https://developers.google.com/project-tango/hardware/depth-test

ただし、このページでは、このビルドは Kalman (Leibniz ではありません) 用であると書かれています。「システム アップデート」に移動して「アップデートの確認」をクリックするという推奨手順を試してみると、システムは最新であると表示されます (最新の OTA を受信して​​いないように見えますが)。

2 つの質問:

1. カーネル (OTA) とプロジェクト タンゴ コアが一致していないという点で正しいですか?
2. もしそうなら、どうすればこれを修正できますか?

前もって感謝します...

WiFi のない企業環境で実行しているため、デバイスを家に持ち帰らない限り、OTA アップデートを取得できません。先月、onFrameAvailable() コールバックの問題について読んだ後、当面は更新を行うことに懐疑的になりました。現在、少なくとも 1 つの更新プログラムを利用できますが、拒否しました。私のデバイスは実行中です:

問題は、更新する必要があるかどうかです。それともしばらく砂に頭を埋めて待つべきですか？

関連する質問 (個別に投稿する必要があるかもしれません) は、画像フォーマットはあと何回変更されるのでしょうか? 新しいリリースごとに形式が変わるかのようにコーディングする必要がありますか? 形式は常にリリース ノートに記載されますか? （新型ライプニッツ、YUV420SP用ですが、RGBAに切り替えた時はヤコビでもケルビンでもありませんでした。）

Tango の最初のリリース ノートには、ミニ HDMI ポートが機能しないと記載されていました。それ以来、HDMIに関する声明はありません。最近HDMIポートを試した人はいますか？外部ビデオを取得するための他の既知のオプションはありますか? USBポート付きのSlimPortアダプタを使用してみましたが、うまくいきませんでした。HDMI ポートが提供されているため、SlimPort の内部サポートはないと想定しています。前回デモを行ったとき、襟にウェブカメラをクリップで留めて、画面に向けました。ハイテクはどうですか？より良いオプションはありますか？