問題タブ [h2o]

「h2o」パッケージは、R 経由でアクセスできる楽しい ML Java ツールです。「h2o」にアクセスするための R パッケージは「h2o」と呼ばれます。

入力手段の 1 つは、「h2o」に csv ファイルの場所を伝え、「h2o」に生の CSV をアップロードさせることです。フォルダーを指定して、コマンドを使用して「その中のすべて」をインポートするように「h2o」に指示する方が効果的h2o.importFolderです。

「gzip」または「bzip」csv ファイルのフォルダーを指定し、「h2o」でそれらをインポートする方法はありますか?

このリンク (ここ) によると、h2o は圧縮ファイルをインポートできます。importFolder アプローチでこれを指定する方法がわかりません。

圧縮フォームをインポートする方が速いですか、遅いですか? 出力を作成する別のプログラムがある場合、圧縮されている場合、h2o インポート プロセスの速度が向上しますか? 生のテキストの場合は？ガイドラインとパフォーマンスのベスト プラクティスを歓迎します。

いつものように、コメント、提案、およびフィードバックを求めています。

パッケージのh2o.kmeans機能を使いたい。h2oこれが私のコードです

出力は

cluster各ポイントが割り当てられるクラスタを示す (1:k からの) 整数のベクトルを含むオブジェクトがないのはなぜですか?

R経由でH2Oを使用して、1つの大規模なデータセット（〜10GB）のサブセットを使用して複数のモデルを構築しようとしています. データは 1 年分のデータであり、私は 51 個のモデル (つまり、1 週目にトレーニング、2 週目に予測など) を構築しようとしています。各週は、8 つの変数を持つ約 150 万から 250 万行です。

私はこれをループ内で実行しましたが、これは R で常に最善の方法であるとは限りません。私が見つけたもう 1 つの問題は、H2O エンティティが以前のオブジェクトを蓄積することでした。そのため、メイン データを除くすべてのオブジェクトを削除する関数を作成しました。設定。

スクリプトはしばらくの間正常に実行された後、クラッシュします。多くの場合、メモリ不足やディスクへのスワップに関する問題が発生します。

プロセスを説明するための擬似コードを次に示します

私の質問は、このタイプのスタンドアロン エンティティ (これは Hadoop またはクラスターで実行されていない - 単なる大規模な EC2 インスタンス (~ 64 GB RAM + 12 CPU)) でデータとメモリを管理する正しい方法がある場合、それは何かということです。プロセスの？各ループの後に H2O エンティティを強制終了して再作成する必要がありますか (これは元のプロセスでしたが、毎回ファイルからデータを読み取ると、反復ごとに約 10 分かかります)。各ループ後にメモリをガベージ コレクションまたは解放する適切な方法はありますか?

任意の提案をいただければ幸いです。

私は H2O を初めて使用し、RStudio (64 ビット Windows 7 の R 3.2 バージョン) で H2O を初期化して税金詐欺の予測モデリングを行うのに問題があります。H2Oを開始するために行った手順は次のとおりです。

1. H2O の最新の安定版リリース ("Noether 2.8.4.4" from ( http://0xdata.com/download/ ) をインストールしました)
2. 以下を使用して解凍した後、端末からH2Oを起動しました：

cd Downloads cd h2o-2.8.4.4 java -jar h2o.jar

3. Google Chrome で H2O URL を指定しました: http://localhost:54321/
4. Rstudio でスクリプトを実行して、デモを開始します。

library(h2o,lib.loc="C:/Program Files/RRO/R-3.1.2/library") localH2O = h2o.init(ip = "localhost", port = 54321, startH2O = TRUE)

しかし、この 4 番目のステップの後、次のメッセージを受け取りました。

私が間違っていることについての助けやアドバイスをいただければ幸いです。

H2OはCox 比例ハザード モデルをサポートしています。しかし、最初のリンクの表記では、時変共変量をサポートしているかどうかが明確ではありません。そうですか？

複数の出力を与える深層学習ネットを作成することは可能ですか? これを行う理由は、出力間の関係を捉えようとするためでもあります。与えられた例では、1 つの出力しか作成できません。