問題タブ [google-cloud-bigtable]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-cloud-bigtable - サンドボックス化された GAE 環境の hbase クライアント
hbaseクライアントであるGAEでGoogle Bigtable Javaクライアントを動作させようとしています。https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/tree/master/java/managed-vm-gaeの例を見つけました が、これは GAE のマネージド vm のみを対象としています。
サンドボックス化された GAE にテスト コードをデプロイしようとすると、次のエラー メッセージが表示されました。
詳細については、Google App Engine デベロッパー ガイドをご覧ください。
ここで完全なスタックトレースを参照してください: http://pastebin.com/ke5QMDGY
サンドボックス化された GAE でクライアントを使用した経験のある人が、いくつかの指針を与えることができるかどうかに興味があります。どうも！
google-app-engine - managed-vm-gae サンプル コードをローカルで実行する方法
このチュートリアルに従って 、Google マネージド VM で Bigtable クライアントを起動して実行しました。しかし、これをローカルで実行する方法はありますか? その理由は、開発中にコードをリモートでデプロイするのは苦痛だからです。
通常dev_appserver.sh、GAE アプリをローカルで実行するために使用できます。しかし、実行すると、次のエラーが発生します。
原因: java.lang.IllegalStateException: Jetty ALPN が正しく構成されていません。
つまり、ALPN ライブラリを含める必要があるということですか? 私たちのコードベースは Java 7 にあるため、この ALPN バージョンを使用しました: 7.1.3.v20150130.
次に、これで再試行しました：
まだこのエラーが発生しています：
原因: com.google.apphosting.api.ApiProxy$CallNotFoundException: API パッケージ 'urlfetch' または呼び出し 'Fetch()' が見つかりませんでした。
ローカルで機能させるにはどうすればよいですか？
java - 低頻度の呼び出しでの Bigtable のスキャン/取得応答時間 (レイテンシ) が非常に高い
bigtable に 10 個のインスタンスを持つ小さなテーブル (サイズ 100Mb) が 1 つあります。1 分ごとに行をスキャン/取得しようとすると、呼び出しの待ち時間が 300 ミリ秒を超えます。私がヒットした場合、毎秒1回のようなより頻繁な呼び出しで、レイテンシは50〜60ミリ秒です。低頻度の呼び出しでパフォーマンスを向上させる方法がわかりません。これは予想される動作です。または私は何か間違ったことをしていますか？
これが私のテストコードです。大きなテーブルへの 2 つの hbase クライアント接続用に 1 つのエグゼキューターを作成しました。ただし、低頻度の接続応答は、より頻繁に呼び出しを行う接続よりもはるかに遅くなります。
助言がありますか？
java - BigQueryIO.Read クエリとジョブ : クエリ
私はしばらくデータフロー/ビッグクエリをいじっていますが、特定のタイプのメソッドを使用してテーブルをクエリするときなど、いくつかの基本的なことについて頭を悩ませることはできません。
+ 短くてシンプル、 + PCollectionで返さBigQueryIO.Readれる
大きな結果に適して
いますが、結果の新しいテーブル スキーマを返さないため、
両方を (1) にエクスポートするのが難しくなります。 csv ファイル - テーブル ヘッダー、フィールド!! (2) bigquery テーブル - スキーマなし! クエリ結果を bigquery テーブルまたは .csv ファイルに保存するたびに、テーブル スキーマまたは fields-csv ヘッダーを手動で定義する必要があります。
---> これをエレガントに自動的に行う方法はありますか?
クエリを実行するもう 1 つのオプションは、Jobs : Queryを使用することです。
これにも長所と短所があります:
+ クエリ結果のテーブル スキーマを返します
- 認証が必要です。最終的には、正確な単純なクエリのコーディングがはるかに多くなります
-> 非同期モードと同期モード。-オプションを指定した非同期モードを除き、
大きな結果には適していません。バックグラウンドで複数のクエリが発生し、取得された行の完全なリストを取得するために構成する必要があります (??)
- 結果はテーブルに保存できます。ただし、非同期クエリのみが結果を永続的なテーブルに保存できます（一時テーブルだけではありません）。allowLargeResults
疑問が残ります:
(1) どちらの方法がいつ、より優れているか?
(2) 照会するテーブルに非常に大量のデータがあり、非常に大きな結果が得られる場合、どの照会方法が優先されますか?
(3) 非常に大きな結果を処理する場合、テーブルまたは .csv ファイルのどちらのエクスポートが優先されますか?