0

シェル (UI ではない) を使用して、Spring Cloud データ フローを使用してデータ フロー パイプラインを作成しようとしています。ソースは twitterstream で、シンクはファイルです。file-sink を構成するために私がしたことは次のとおりです。

dataflow:>stream create demo --definition "twitterstream --credentials | file --dir=/opt/datastream --mode=APPEND --filename=tweets.txt"

kafka トピックからデータを消費できますが、シンクの場所の上に書き込むことができず、ファイルが作成されていません。ストリームのデプロイ中にエラー ログはありません。最終的には、ローカル ファイル システムから HDFS に変更します。足りないものはありますか?

PS: /tmp/xd/output 内にデフォルト ファイルを作成するはずのデフォルト ファイル シンク (定義なし) を試しましたが、どちらも起こりませんでした。

4

1 に答える 1

2

最新の1.0.0.RELEASE (GA) リリースでは、次のストリーム定義が機能します。

dataflow:>stream create demo --definition "twitterstream | file --directory=/someFolder --mode=APPEND --name=demo.txt"

指摘すべき点がいくつかあります。

1)ソースはOOTB プロパティとしてtwitterstreamサポートされていません。ここ--credentialsを参照してください。

2)シンクはOOTB プロパティとしてfileサポートしていません。代わり--filenameに使用する必要があります。ここ--nameを参照してください。

于 2016-07-15T19:51:40.693 に答える