問題タブ [data-loss]

コミットログのデータは 10 秒ごとに定期的にディスクにフラッシュされるため ( commitlog_sync_period_in_msによって制御されます)、すべてのレプリカが 10 秒以内にクラッシュした場合、そのデータはすべて失われますか? 理論的には、Cassandra クラスターはデータを失う可能性があるということですか?

現在、他のドキュメントの画像を検索する Objective-c / Cocoa アプリに取り組んでいます。ただし、しばらくすると NSData が null になるため、分析している NSData に問題があります。以下は、NSData を作成し、長さを取得し、いくつかの基本的なデバッグを行うコードです。

ここでデータを NSLog すると、渡されたドキュメントが 16 進表現でコンソールに書き込まれます。

ただし、データを処理しようとすると、最後のデバッグ NSLog でデータが null であると表示されます。(for ループは 16 進 FF のデータをチェックします) コードは以下のとおりです。

2 番目の部分では、NSData の長さも 0 になります。

以下は NSLog の出力です。長くなりすぎないように、16 進数の出力を短くしました。

誰かが私よりも NSData を理解し、間違いを指摘してくれることを願っています。さらに情報が必要な場合は、いつでも追加できます。

事前にどうもありがとうございました。

初めての UDP サーバー/クライアントを実装しました。サーバーはローカルホストにあります。クライアントからサーバーに 64kb のデータを送信していますが、これはサーバーが返送することになっています。次に、クライアントは 64kb のうちどれだけがそのまま残っているかをチェックし、それらはすべてそのままです。いつも。この動作の考えられる原因は何ですか? 少なくとも - 一部の - データ損失を予想していました。

クライアントコード: http://pastebin.com/5HLkfcqS サーバーコード: http://pastebin.com/YrhfJAGb

PS: ここではネットワーク プログラミングの初心者なので、あまり厳しくしないでください。私の問題に対する答えが見つかりませんでした。

複数のデータベースに接続し、それぞれからテキスト ファイルにクエリを書き込むスクリプトがあります。ただし、実行すると、期待した結果が得られません。いくつかのクロス チェックの後、次の接続から新しい結果を見つけるのではなく、最初のデータベース クエリから同じ結果を書き込んでいるように見えます。IP 文字列を挿入して、IP が for ループによって取得されていることを確認しましたが、リーダーをクリアする方法が必要なようです。

いつものように、どんな洞察も大歓迎です！

raf を開き、ファイル チャネルを取得し、バッファにデータを蓄積します。

これらのオフセットでバイトが raf に書き込まれることを期待しています。これは、raf.length + 配列内の累積バッファー サイズです。

ProcMon は、これが OS レベルで発生し始めていることを表示します

ご覧のとおり、オフセット 0、62、132、... から 968 までの 16 個のバッファを書き込み、ファイルを閉じます! 次に、もう一度それを開き、オフセット 1031、1095、1165 に進みます。これは別のセッションからのものです。ここで同じことを行います。raf と fc を開き、別の一連のバッファーを書き込みます。これは、16 個のバッファーが再度書き込まれた後に中断されます。2 番目のシリーズは、ファイルが閉じられた 1031 から始まり、最初の書き込みから 17 番目のバッファーの場所でした。jdocs の 16 バッファ制限については何も表示されません。

幸いなことに、fileChannel.forceシステムがシャットダウンしない限り、ディスク上にデータを物理的に必要としないため、この状況を解決することはできません。fc.write 時または JVM の終了時にデータが OS キャッシュにフラッシュされるので、次回同じシステムでファイルを開くときにデータを利用できることに満足しています。

バグを再現するプログラムはこちら

不思議なことに、そのリモート マシンでは再現されません。この短いプログラムをコンソールから実行しても表示されませんが、このコードはワークシートから実行されたアサーションに失敗します。プログラムの状態に依存するようです。同じ JRE で失敗または成功する可能性があります。

何らかの理由で、関数は最初のものを除いてオブジェクトの配列のメンバー値を保存しません。この問題の性質を強調するためにコードを要約しました。

classFile.cpp

classFile.h

呼び出し関数ファイル.cpp

の誤った出力はobjectArray[elementID].myX、特定の場合は常に同じですelementIDが、他の では異なりelementIDます。0 の場合もあれば、8231924021 のような場合もあります。

編集:これは、関連する部分が上部に書かれた元のコードです(実際に実行するには長すぎるというニュアンスに気付いた場合): classFile.h、classFile.cpp、functionCallingFile.cpp

Edit2: クラスメンバーの位置がメモリ内で各オブジェクトごとに 3 バイトシフトされているように見えるため、最初のものを除いてそれらを読み取ることができなくなります。myXアドレスとobjectArray[i].myXアドレスの比較は次のとおりです-pastebinLink

この 3 バイトのシフトを手動でカウンターすることもできますが、それは洗い流すのではなく、デオドラントをトイルドにスプレーするようなものです。

Edit3: 問題を解決したのは、#include "classFile.h"callingFunctionFile.cpp ファイル内の位置を変更することでした。最初のインクルードとして一番上に配置した後、問題は消えました

私はテンソルフローを使用し、ニューラルネットワークを使用してマルチラベル分類の問題を解決しています。損失関数として Softmax クロス エントロピーを使用していました。

さて、KL発散損失関数を使うべきだと思いました。しかし、私はテンソルフローでそれを見つけられませんでした.Softmax損失の代わりにKL Divergence損失関数を使用するのに役立つ体はありますか?

このフォーラムの皆さん、こんにちは。

そう。int から float への変換があるため、データが失われる可能性があることを示す警告がコンパイラから表示されます。

コード内のすべての変数が整数 (posx、posy、および lado) であり、"lado" が 20 であるため、混乱します。

警告を防ぐために static_cast も使用しましたが、まだ残っています。

誰かがこの問題で私を助けることができれば、本当に感謝します

ElasticSearch で poc を作成しますが、実行中にクラスター化された環境でデータが失われました。ES 2.4.0 を使用しています。

私たちが欠けているものを誰か言うことができますか?

私たちのシナリオは次のとおりです。

1. 以下の構成で Elastic Server-1 と Server-2 を開きます。これらはクラスター内にあります。

2. Server-1 でドキュメントのインデックスを作成:

   curl -XPUT '20.20.20.5:9200/ert/post/1' -d ' { "user": "easlan", "postDate": "01-16-2015", "body": "ElasticSearch クラスターにデータを追加しています" , "title": "ElasticSearch クラスター テスト - 1" }'

3. Server-1 または Server-2 でインデックス付きドキュメントを探します。結果の総数は 1 です (予想どおり)。

   curl -XGET '20.20.20.5:9200/ert/post/_search?q=user:easlan&pretty=true' curl -XGET '20.20.20.6:9200/ert/post/_search?q=user:easlan&pretty=true'

4. 次に、Server-1 を閉じます

5. Server-2 で新しいドキュメントのインデックスを作成します。

   curl -XPUT '20.20.20.6:9200/ert/post/2' -d ' { "user": "easlan", "postDate": "01-16-2015", "body": "ElasticSearch クラスターにデータを追加しています" , "title": "ElasticSearch クラスター テスト - 2" }'

6. Server-2 でインデックス付きドキュメントを探します。結果の総数は 2 です。

   curl -XGET '20.20.20.6:9200/ert/post/_search?q=user:easlan&pretty=true'

7. サーバー 2 を閉じる

8. サーバー 1 を開く

9. Server-1 でインデックス付きのドキュメントを探します。結果の総数は 1 です (予想どおり、server-2 が閉じているため)。

   curl -XGET '20.20.20.5:9200/ert/post/_search?q=user:easlan&pretty=true'

10. 次に、Server-2 を再度開きます。Server-1 または Server-2 でインデックス付きのドキュメントを探します。結果の合計数が 2 になることを期待していますが、結果として 1 を得ています。そのうちの 2 つを再起動しても、結果は 1 のままです。

    curl -XGET '20.20.20.5:9200/ert/post/_search?q=user:easlan&pretty=true' curl -XGET '20.20.20.6:9200/ert/post/_search?q=user:easlan&pretty=true'

私たちの構成:

ストリームが時間 X に受信されたとします。バッチ期間が 1 分であるとします。現在、エグゼキュータは最初のバッチを処理しています。ただし、この実行には X+3 まで 3 分かかります。しかし、X+1 と X+2 では、他の 2 つのバッチを受け取ります。X+1 で最初のバッチが失われるということですか? それとも私の記憶に保存されていて、まだ処理中ですか？