問題タブ [data-stream]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
filesystems - spark ssc.textFileStream は、ディレクトリからファイルをストリーミングしていません
eclipse (maven conf を使用) を 2 つのワーカーで使用して以下のコードを実行しようとしており、それぞれに 2 つのコアがあるか、spark-submit でも試しました。
そしてそのコードのログ
問題は、ディレクトリにあるファイルからデータを取得していないことです。私を助けてください。
java - ByteArray を整数に加算
次の Java コード スニペットでは、次の行が表示されます。packetLengthMax += bytes.toByteArray()[43];
私の質問は次のとおりです。
私の説明: まず、ソケット ( Client) がコードに渡されます。次に、すべての変数のセットアップを行います。while ループでは、ソケットからのすべてのデータを読み取ります。次に、このデータも に書き込みますDataOutputStream。しかし、ifステートメントでは、バイト配列を整数に追加します。
それはどのように機能しますか？その点がわかりません。助けてくれてありがとう！
php - Dropbox API を使用して、中間ファイルをダウンロードせずに直接リモート FTP サーバーにファイルを転送します
Dropbox に大きなデザイン ファイル (最大 500 MB) があり、オンラインの PHP ベースのプロジェクト管理プログラムで、単一のファイルをベンダーの FTP サーバーにプログラムで転送するツールを構築しています。ファイル サイズが大きいため、ファイルをサーバーにダウンロードしてから、そのファイルを FTP サーバーにアップロードしたくありません。これは、速度とストレージ スペースの問題の両方が原因です。
次の Dropbox API 呼び出しを使用できます。
そして、次の PHP コマンドを使用できると思います。
私はファイル データ ストリームの経験がないので、この 2 つを接続する方法がわかりません。数時間オンラインで検索した後、ここで質問してみようと思いました。
getFile の $outstream リソースを ftp_fput の $ftp_stream リソースに接続するにはどうすればよいですか?
hdfs - 気象データを HDFS にストリーミングするための hortonworks サンドボックス vm での Flume エージェントの作成
気象データをストリーミングするように Flume を構成しています。以下に示すように Flume エージェントを作成しました。
WeatherAgent.sources= 天気
WeatherAgent.sinks = hdfs-write
WeatherAgent.channels= メモリーチャネル
WeatherAgent.sources.Weather.type = 天気
WeatherAgent.sources.Weather.bind = api.openweathermap.org/data/2.5/forecast/city?id=524901&APPID=************
WeatherAgent.sources.Weather.port = 11111
WeatherAgent.sinks.hdfs-write.type = hdfs
WeatherAgent.sinks.hdfs-write.hdfs.path = hdfs://localhost:8020/user/hadoop/flume
WeatherAgent.sinks.hdfs-write.rollInterval = 30
WeatherAgent.sinks.hdfs-write.hdfs.writeFormat=テキスト
WeatherAgent.sinks.hdfs-write.hdfs.fileType=データストリーム
WeatherAgent.channels.memoryChannel.type = メモリ
WeatherAgent.channels.memoryChannel.capacity=10000
WeatherAgent.sources.Weather.channels=memoryChannel
WeatherAgent.sinks.hdfs-write.channel=memoryChannel
私はエラーが発生しています
気象エージェントに有効なチャネルが含まれていないため、無効になっています。
私はflumeを初めて使用します。エージェント構成ファイルに追加するすべてのパラメータがわかりません。書かれたエージェントが正しいか間違っているかさえわかりません。これを解決するのを手伝ってください。カスタムまたは新しいエージェントを作成するためのヘルプ リンクがある場合は、投稿してください。
前もって感謝します
スヨグ
rest - アップグレード中のストリーミング接続のロールオーバー
私は Amazon Kinesis を使用するアプリケーションに取り組んでいます。私が疑問に思っていたことの 1 つは、アップグレード中にストリームでデータを失うことなくアプリケーションをロールオーバーする方法です。Blue/Green デプロイメントなどについては聞いたことがありますが、ストリームからデータが失われないようにデータ ストリーミング サービスをアップグレードするためのベスト プラクティスは何か疑問に思っていました。
たとえば、私のアプリケーションには、一連の POST 操作としてデータを取り込む HTTP エンドポイントがあります。サービスを新しいバージョンに置き換えたい場合、エンドポイントへの既存のアプリケーション ストリーミングをどのように管理すればよいですか?
amazon-web-services - AWS Kinesis 書き込みスループットにはデータがありませんが、受信リクエストの合計にデータがあります
こんにちは、Kinesis を使用してデータ ストリーミングを処理しています。
Kinesis にデータを正常に送信し、Kinesis からデータを取得できます。すべて問題ありません。
ただし、Kinesis の「モニタリング」を確認すると、書き込みスループットのデータは表示されませんが、総受信リクエストのデータは表示されます (添付のスクリーンショットを参照)。Kinesis からデータを正常にプルできるので、ある程度の書き込みスループットがあるはずだと思いますが、モニタリングで書き込みスループットがないのはなぜですか?
それとも、「書き込みスループット」と「着信要求」という用語を誤解している可能性がありますか?
どうもありがとうございました。
java - データ ストリーム Java の取得 - Java ストリーム API の操作
データストリームとJavaを扱う割り当てを受けました。私がする必要があるのは、与えられたデータストリームとそのための API に接続する Java クラスを書くことです。
得る
GET は、データ ストリームのリスト、または ID による特定のストリームを取得するために使用されます。
私はその仕組みを理解しています、
この値を取得するクラスを作成するにはどうすればよいですか?
それらを保存するためにどのような種類のオブジェクトを使用する必要がありますか
たとえば、データベースに挿入するにはどうすればよいですか?