問題タブ [stream-processing]

最近、Samza フレームワークでストリーム処理作業を実行しようとしています。hello-samza の例を正常にデプロイしました。しかし、自分の仕事を書こうとすると、どこから仕事を始めればいいのかわかりません。

このドキュメントを読みましたが、まだ要点がわかりません。誰でも私を助けることができます：

1. 私のコードのアーキテクチャ (ソース コード、lib コード、および構成) は何ですか。
2. コードがプッシュされるディレクトリ。
3. コードを実行するために必要なその他の作業。

あなたの提案は私に大いに役立ちます、どうもありがとう！

Apache Apex - オープン ソースのエンタープライズ グレードの統合ストリームおよびバッチ処理プラットフォームです。IOT 向けの GE Predix プラットフォームで使用されます。これら 2 つのプラットフォームの主な違いは何ですか?

質問

1. データ サイエンスの観点から、Spark との違いは何ですか?
2. Apache Apex は Spark MLlib のような機能を提供しますか? Apache apex でスケーラブルな ML モデルを構築する必要がある場合、その方法と使用する言語は?
3. データ サイエンティストは、スケーラブルな ML モデルを構築するために Java を学ぶ必要がありますか? pyspark のような python API はありますか?
4. Apache Apex は Spark と統合できますか? また、Apex の上で Spark MLlib を使用して ML モデルを構築できますか?

JSON を使用して DAG インスタンスを作成するためのドキュメントを探しています。形式に関する正式なドキュメントはどこかにありますか?

Apex アプリケーションを開発およびテストするために最低限必要な環境は何ですか?

で実行しEclipse、Apex アーキタイプを使用してプロジェクトをWindows生成し、作成されたデフォルトのテストを実行しようとしましたが、次のエラーが発生しました。ApexJUnit

2016-04-05 13:00:02,677 [メイン] DEBUG physical.PhysicalPlan initCheckpoint - アクティベーション チェックポイントの書き込み {ffffffffffffffff, 0, 0} PTOperator[id=1,name=randomGenerator] RandomNumberGenerator{name=null} 2016-04-05 13:00:02,697 [main] エラー util.Shell getWinUtilsPath - Hadoop バイナリ パスで winutils バイナリを見つけられませんでした java.io.IOException: Hadoop バイナリで実行可能な null\bin\winutils.exe を見つけられませんでした。org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:278) で org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:300) で org.apache.hadoop.util.Shell.( Shell.java:293) org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:639) で org.apache.hadoop.fs.RawLocalFileSystem.create(RawLocalFileSystem.java:305) で

開発環境を稼働させるために他に何をインストールする必要がありますか? Hadoopこのような JUnit テストには必要ですか?

apache-apexのドキュメントには、プロセッサ内のイベントの順序は (イベントの発行方法に基づいて) 保持されると記載されていますが、それは、イベントの順不同の処理を可能にするイベント時間の概念がないということですか?

さらに、イベントの内容に基づいて、イベントの優先順位を変更することもできます。たとえば、イベントに特別なフレーズ (セキュリティ コンテキストの AUTH など) が含まれている場合などです。NiFi はこれを可能にします。これは、帯域幅が制限されている状況で役立ちます。

Apache ApexはApache Stormに似ています。

• ユーザーは、両方のプラットフォームで有向非巡回グラフ (DAG) としてアプリケーション/トポロジを構築します。Apex はオペレーター/ストリームを使用し、Storm はスパウト/ストリーム/ボルトを使用します。
• どちらも、バッチ処理ではなくリアルタイムでデータを処理します。
• どちらもスループットが高く、レイテンシが低いようです

一見すると、どちらも似ているように見えますが、私には違いがよくわかりません。主な違いは何ですか？言い換えれば、いつ一方を他方の代わりに使用する必要がありますか?

Apache APEX CLI コマンドの Shutdown-app と kill-app の違いは何ですか?