問題タブ [checkpoint]

OPSEC API を使用して、クライアントに属するファイアウォール ルール データをリモートで収集する必要があります。ネットで少し調べたところ、OPSEC APIのLEA(Log Export API)が使えることがわかりました(詳しくは: https://www.fir3net.com/Firewalls/Check-Point/a-quick-guide-to -checkpoints-opsec-lea.html )。また、fw1-lograbber ( https://github.com/certego/fw1-loggrabber )という名前のプロジェクトがあることもわかりました。私はネットワーク セキュリティの初心者であり、CheckPoint ファイアウォールについてほとんど何も知りません。そこで私の質問は、CheckPoint のファイアウォール ルールの基本と、OPSEC API を使用してそれらを収集する方法について簡単に説明することです。より具体的には、ルールはチェックポイント ログに含まれていますか?それとも、LEA にルールを取得するための特定の方法はありますか?

皆さん、ありがとうございました！

aarch64 用の qemu エミュレーターを使用しており、チェックポイントを作成した時点からシステムを再起動するために必要なすべてを保存するために、外部チェックポイント (または高速転送) を作成したいと考えています。（実際には、起動ステップをスキップしたいのですが）qemu VMスナップショットと高速転送で何かを見つけただけですが、エミュレーターでは機能しません。qemuエミュレータのチェックポイント機能はありますか?

CRIU またはその他のチェックポイント/復元コマンドは使用できません。別のシステムでプロセスを復元できる必要があります。

事前トレーニング済みの開始モデルをロードしました。

if FLAGS.pretrained_model_checkpoint_path: assert tf.gfile.Exists(FLAGS.pretrained_model_checkpoint_path) variables_to_restore = tf.get_collection( slim.variables.VARIABLES_TO_RESTORE) restorer = tf.train.Saver(variables_to_restore) restorer.restore(sess, FLAGS.pretrained_model_checkpoint_path) print('%s: Pre-trained model restored from %s' % (datetime.now(), FLAGS.pretrained_model_checkpoint_path)) flowers_train.py を使用して、私のデータでモデルをトレーニングしました

トレーニングが完了した後、損失は約 1.0 になり、モデルは指定されたディレクトリに保存されました。

トレーニングを続けたいので、モデルを復元します。

if FLAGS.checkpoint_dir is not None: # restoring from the checkpoint file ckpt = tf.train.get_checkpoint_state(FLAGS.checkpoint_dir) tf.train.Saver().restore(sess, ckpt.model_checkpoint_path)

モデルのトレーニングを続行しますが、最初のステップでの損失は約 6.5 です。これは実際には、モデルがまったく初期化されていないことを意味します。

これは、このinception_train.pyから変更されたinception_train.pyの内容全体です。

私が出発した最初の電車：

bazel-bin/inception/flowers_train --train_dir="{$TRAIN_DIR}" --data_dir="{$DATA_DIR}" --fine_tune=True --initial_learning_rate=0.001 --input_queue_memory_factor=1 --batch_size=64 --max_steps=100 --pretrained_model_checkpoint_path="/home/tensorflow/inception-v3/model.ckpt-157585"

このコマンドでトレーニングを続けようとしました:

bazel-bin/inception/flowers_train --train_dir="{$TRAIN_NEW_DIR}" --data_dir="{$DATA_DIR}" --fine_tune=False --initial_learning_rate=0.001 --input_queue_memory_factor=1 --batch_size=64 --max_steps=2000 --checkpoint_dir="{$TRAIN_DIR}"

訓練されたモデルを初期化するときに何が間違っているのか、誰か説明してもらえますか?

Kafka から継続的にデータを受信できるステートフルな wordCount スパーク ストリーミング アプリケーションを作成します。私のコードにはmapWithState関数が含まれており、正しく実行できます。Spark UI でストリーミング統計を確認すると、処理時間チャートに周期的なパルスがいくつか見つかりました。これはcheckpointの使用が原因である可能性があると思います。誰かがこれを説明してくれることを願っています。

および完成したバッチ テーブル:

時間コストが 1 秒のバッチが定期的に発生することがわかりました。次に、1 秒時間コストのバッチと 1 秒未満の時間コスト バッチに足を踏み入れたところ、1 秒時間コストのバッチには 1 つ多くのジョブがあり、もう 1 つのジョブがあることがわかりました。

2 種類のバッチの比較:

が原因のようcheckpointですが、よくわかりません。

誰か詳しく説明してくれませんか? ありがとう！

これが私のコードです：

次のコードを使用して、10 エポックごとにテンソルフロー チェックポイントを使用しています。

問題は、新しいファイルが生成されると、以前の 5 つのモデル ファイルが自動的に削除されることです。