問題タブ [apache-flink]

フリンクを始めたばかりです。私は次のコードを書いて、「DataSource の出力でエラーが発生しました: ユーザー コード ラッパーを読み取れませんでした」というエラーが発生しました。

私が間違っていることはありますか？

バージョン: Flink v 0.9.1 (hadoop 1) hadoop を使用していない: ローカル実行シェル: scala シェル

コード：

注: 入力ファイルは「;」を使用します 区切り記号として

エラー：

次のコードを実行すると、「エラー: 見つかりません: 値の順序」というメッセージが表示され、理由がわかりません。私は何を間違っていますか？

バージョン: Flink v 0.9.1 (hadoop 1) hadoop を使用していない: ローカル実行シェル: scala シェル

AWS S3 に保存されたデータを処理するために Apache Flink 0.9 を使用することに成功した人はいますか? Hadoop の S3FileSystem ではなく、独自の S3FileSystem を使用していることがわかりました...動作していないようです。次のパス s3://bucket.s3.amazonaws.com/folder を配置しましたが、次の例外で失敗しました:

java.io.IOException: Amazon S3 への接続を確立できません: com.amazonaws.services.s3.model.AmazonS3Exception: 計算したリクエストの署名が、提供された署名と一致しません。キーと署名方法を確認してください。(サービス: Amazon S3; ステータス コード: 403;

3G ネットワーク(GPRS トンネリング プロトコル)でのデータ トラフィック ログの処理に Flink Stream を使用しています。また、ユーザーのユーザーセッションでの情報の統合に問題があります。

例: 1 つのセッションの開始と終了をマップする方法。そのような複雑なプロトコルを処理するのに適した Flink ストリーミングがあることを知りませんか?

p/s:
3G ネットワークで SGSN と GGSN の間で交換されるデータをキャプチャします (GTP-C/U メッセージで GTP プロトコルを使用します)。セッションは、SGSN がCreateReq (TEID、Seq、IMSI、TEID_dl、TEID_data_dl)メッセージを送信し、GGSNが CreateRsp(TEID_dl、Seq、TEID_ul、TEID_data_ul)メッセージを応答するときに開始されます。セッションが確立された後、SGSN から GGSN に送信されるその他の GTP-C メッセージ (例: UpdateReq、DeleteReq) は TEID_ul を使用し、応答メッセージは TEID_dl を使用し、GTP-U メッセージは TEID_data_ul (SGSN -> GGSN) および TEID_data_dl (GGSN -> SGSN) を使用します。 ）。GTP-U メッセージには、AppID (facebook、twitter、web)、url などの情報が含まれています...
最後に、継続的なログ データ ストリームを処理し、GTP-C メッセージと同じ 1 人のユーザーの GTP-U (IMSI ) レポートを作成します。

私はこれを試しました：

このコードは常に空の結果を返します。入力ストリームに同じセッションの CreateRsp および CreateReq メッセージが含まれていること。それらは非常に接近して表示されます (1 秒以内)。デバッグすると、毎回 oReq.isEmpty == trueになります。私が間違っているのは何ですか？

Apache Flink を実行しようとしていますが、依存関係が利用できないというエラーが発生します。モジュールflink-streaming-javaはまだ利用可能ですか。

私は 0.9.1 といくつかのバージョンを使用しましたが、どれも機能しませんでした。

flink-streaming-java でさらに確認するとhttps://github.com/apache/flink/blob/master/flink-streaming-java/pom.xml

見つかった -

パラメータで DataSet をグループ化し、関数を適用して結果を並べ替えようとしていsortGroupます。最後に、reduceGroup 関数を適用して、変換された DataSet を取得します。

しかし、Eclipse は次のようなエラーを sortGroup 行に表示します。

タイプ MyClass の外側のインスタンスにアクセスできません。MyClass 型 (x は MyClass のインスタンス) の囲みインスタンスで割り当てを修飾する必要があります (egxnew A())。

私が間違っていることと、これを修正する方法を教えてください。

これらの指示に従って、既存のストーム トポロジをフリンク ジョブに変換しています。flink 1.0 (SNAPSHOT) を git 経由でインストールし、ウェブサーバーとストリーミング サーバーをローカルで実行しています。

gradle を介して .jar ファイルにトポロジを構築し、flink Web インターフェイスを介して送信すると、「エントリ クラスが指定されていません」というメッセージが表示されます。

エントリーポイントがありませんか？.jar に何か特別なものが必要ですか? マニフェスト？

この .jar は、ストーム クラスターに送信されたときに機能していました。関連する flink .jar ファイルを (どのように) 追加しました。

編集：

コマンドライン経由でジョブを送信すると、次のメッセージが表示されました。

org.apache.flink.client.program.ProgramInvocationException: 'Main-Class' も 'program-class' エントリも jar ファイルに見つかりませんでした。org.apache.flink.client.program.PackagedProgram.getEntryPointClassNameFromJar(PackagedProgram.java:563) で org.apache.flink.client.program.PackagedProgram.(PackagedProgram.java:186) で org.apache.flink.client. program.PackagedProgram.(PackagedProgram.java:124) で org.apache.flink.client.CliFrontend.buildProgram(CliFrontend.java:725) で org.apache.flink.client.CliFrontend.run(CliFrontend.java:287) でorg.apache.flink.client.CliFrontend.parseParameters(CliFrontend.java:971) で org.apache.flink.client.CliFrontend.main(CliFrontend.java:1021)

このJIRA を読むと、いくつかの答えが示唆されます。

1. マニフェストを追加する
2. コマンドラインにエントリ ポイントを追加します (「-c <package>」オプションを使用します)。