問題タブ [h2o]

172.16.53.31:8787 でホストされている R-hadoop を使用して、HDFS から 172.16.53.31:54331 (元は 54321) でホストされている H2O にファイルをインポートしようとしています。

このエラーが発生しました。何か案が？

または何かアドバイスはありますか？

よろしくお願いします。

心から、

新しい

私はrevolutionanalyticsのチュートリアルに従っており、チュートリアルの最初の部分で

H2O 2.0.0.9 を使用して Windows 用の R 3.1.0 x64 (以下に示す構成) でコマンドを実行すると、次の出力が得られます。

これを解決する方法がわかりません。この問題はどのフォーラムにもありません。プログラムが異なるサイズのベクトルを異なるサイズの配列に割り当てようとしていることは知っています。しかし、これを解決して機能させるにはどうすればよいですか?

R 構成:

データセットを (CSV として) H2O にアップロードしようとして、FirstName 列が null/missing に変換されることを発見した後、H2O の現在のバージョンはクラス文字列の列をサポートしておらず、因子は最大65k の一意の値。だから今、私はこの問題を解決する別の方法を探しています。

任意の FirstName が返されるモデルで終了したいと思います。

• その人が男性/女性である確率 (+1.0 から -1.0)
• 可能であれば、その人の推定年齢 (平均値、標準偏差)

これには、どの R 関数 (または packages::functions) が機能しますか? できれば、十分に文書化されたパッケージ/関数を使用して、行っていくうちにさらに学習できるようにします。

R のデータセットのサンプルを次に示します。列の種類は、数値、因子、因子、数値です。

データ ソースをプル/処理する R コードを次に示します。

私はH20機械学習プラットフォームを調べていて、R で使用することで R が非常に大きなデータ (>> ラップトップで利用可能な RAM) を処理できるかどうか、またはそれがまだ RAM の量に拘束されているかどうかを調べようとしていました。これは「インメモリ」であるため、非常に大量の RAM またはサーバー クラスターが必要になると思いますか? 誰でもこれを経験したことがありますか？

私はいくつかの分散コンピューティング作業に H2O を使用していh2oます (R のパッケージを介して)。R の基本関数の多くは存在しますが、関数の適切な代替が見つかりませんsubstr。私はsubandgsub関数にアクセスでき、回避策として何らかの形式の正規表現を使用することを望んでいました。

私は次のコードを使用していますが、運がありません:

の出力df1$var2は、私が探しているものです。助言がありますか？

編集:このコードを実行:

次のメッセージを取得します。

H2Oファイルを経由せずに行列をfromにロードする方法はありRますか?

つまり、

「h2o」パッケージは、R 経由でアクセスできる楽しい ML Java ツールです。「h2o」にアクセスするための R パッケージは「h2o」と呼ばれます。

入力手段の 1 つは、「h2o」に csv ファイルの場所を伝え、「h2o」に生の CSV をアップロードさせることです。フォルダーを指定して、コマンドを使用して「その中のすべて」をインポートするように「h2o」に指示する方が効果的h2o.importFolderです。

「gzip」または「bzip」csv ファイルのフォルダーを指定し、「h2o」でそれらをインポートする方法はありますか?

このリンク (ここ) によると、h2o は圧縮ファイルをインポートできます。importFolder アプローチでこれを指定する方法がわかりません。

圧縮フォームをインポートする方が速いですか、遅いですか? 出力を作成する別のプログラムがある場合、圧縮されている場合、h2o インポート プロセスの速度が向上しますか? 生のテキストの場合は？ガイドラインとパフォーマンスのベスト プラクティスを歓迎します。

いつものように、コメント、提案、およびフィードバックを求めています。

パッケージのh2o.kmeans機能を使いたい。h2oこれが私のコードです

出力は

cluster各ポイントが割り当てられるクラスタを示す (1:k からの) 整数のベクトルを含むオブジェクトがないのはなぜですか?

R経由でH2Oを使用して、1つの大規模なデータセット（〜10GB）のサブセットを使用して複数のモデルを構築しようとしています. データは 1 年分のデータであり、私は 51 個のモデル (つまり、1 週目にトレーニング、2 週目に予測など) を構築しようとしています。各週は、8 つの変数を持つ約 150 万から 250 万行です。

私はこれをループ内で実行しましたが、これは R で常に最善の方法であるとは限りません。私が見つけたもう 1 つの問題は、H2O エンティティが以前のオブジェクトを蓄積することでした。そのため、メイン データを除くすべてのオブジェクトを削除する関数を作成しました。設定。

スクリプトはしばらくの間正常に実行された後、クラッシュします。多くの場合、メモリ不足やディスクへのスワップに関する問題が発生します。

プロセスを説明するための擬似コードを次に示します

私の質問は、このタイプのスタンドアロン エンティティ (これは Hadoop またはクラスターで実行されていない - 単なる大規模な EC2 インスタンス (~ 64 GB RAM + 12 CPU)) でデータとメモリを管理する正しい方法がある場合、それは何かということです。プロセスの？各ループの後に H2O エンティティを強制終了して再作成する必要がありますか (これは元のプロセスでしたが、毎回ファイルからデータを読み取ると、反復ごとに約 10 分かかります)。各ループ後にメモリをガベージ コレクションまたは解放する適切な方法はありますか?

任意の提案をいただければ幸いです。

私は H2O を初めて使用し、RStudio (64 ビット Windows 7 の R 3.2 バージョン) で H2O を初期化して税金詐欺の予測モデリングを行うのに問題があります。H2Oを開始するために行った手順は次のとおりです。

1. H2O の最新の安定版リリース ("Noether 2.8.4.4" from ( http://0xdata.com/download/ ) をインストールしました)
2. 以下を使用して解凍した後、端末からH2Oを起動しました：

cd Downloads cd h2o-2.8.4.4 java -jar h2o.jar

3. Google Chrome で H2O URL を指定しました: http://localhost:54321/
4. Rstudio でスクリプトを実行して、デモを開始します。

library(h2o,lib.loc="C:/Program Files/RRO/R-3.1.2/library") localH2O = h2o.init(ip = "localhost", port = 54321, startH2O = TRUE)

しかし、この 4 番目のステップの後、次のメッセージを受け取りました。

私が間違っていることについての助けやアドバイスをいただければ幸いです。