問題タブ [scala-breeze]

Breeze CSCMatrix オブジェクトでブロードキャストを使用することはできますか? ではDenseMatrix m、ブロードキャストは次のように機能します。

sum(m(::, *)

ただし、 で同じ操作を行うと、次のCSCMatrix mエラーが発生します。

flagVectorOutlier以下のコードに示すような機能があります。Breeze のDenseVectorとDenseMatrixオブジェクトを使用して の値を計算していますdistance。関数シグネチャでコーディングされているように、 Spark を取得することを期待していますRDD[(Double, Boolean)]。miとinvCovMatrixは、それぞれ Breeze のDenseVector[Double]とDenseMatrix[Double]です。

コンパイラは、最終的に次の 2 つのエラーを表示します。

と

どの点が欠けていますか？そのように Breeze の間で乗算を行うことが可能であると考えていDenseVectorます。

以下のコードは、0-1 マトリックスを生成し、奇数行ごとに変更して、新しいマトリックスを構成します。を使用してベクトルを連結したいのですが、 のゼロ (または単位) 要素が未知のサイズの空のベクトルであるため、foldLeftが得られます。Not all matrices have the same number of columnsfoldLeft

どうすれば修正できますか？また、なぜトランスポンをmapしないと呼び出せないのでしょうか？m(r, ::)理想的には、選択したベクトルを新しいベクトルにマップし、それを使用DenseMatrix.horzcatしてマトリックスを構築します。

マトリックス全体で関数を使用しない理由mapは、一部の行が変更されないためです。

Breeze ライブラリにいくつかのメソッドを追加しました。これらのメソッドは IDE で確認できます。そして、自分でビルドした Breeze ライブラリを、Apache Spark に基づくプロジェクトに追加しようとしていました。ただし、プロジェクトをコマンド「sbt assembly」でパッケージ化してクラスターで実行すると、クラスターが実際に Breeze ライブラリを実行しなかったことを意味する「no such method xxx」というエラーがスローされます。自分でビルドした Breeze ライブラリをクラスターで実行する方法を誰か教えてもらえますか?

最初のプロジェクトは SBT プロジェクトです。コマンド「publish-local」は、jar をローカルの .ivy リポジトリにのみ公開します。しかし、別のプロジェクトは Maven プロジェクトです。SBT "publish-local" を Maven リポジトリに送りたい。したがって、別のプロジェクトは .m2 リポジトリからそれらを参照できます。どうすればいいのかわからない？

これが build.sbt です:

クラスターで Spark Streaming プログラムを実行したいと考えています。私のプログラムは私のマシンでローカルに正しく実行されますが、クラスターの問題で実行されます。実際、このエラーは次のように表示されます。

クラスター上にないのにローカルで実行されるのはなぜですか?!

次のようにそよ風の依存関係を追加しました。

私は正常に動作しているように見えたバイト配列へのシリアル化のために com.twitter.chill.KryoInjection を使用して、風 SparseVectors を HBase に保存しています。しかし、HBase からベクトルを読み戻した後、一部の値が異なる/欠落していることに気付きました。ここで、HBase がデータをエンコードする方法と、データの突然変異がどこに現れるか (保存/エンコード/おそらくデータの圧縮/読み取り??) を知りたいと思っています。

HBase に保存する直前に、HBase に保存されているベクトルと相関するベクトルを比較して、それらが等しいかどうかを確認したかったのですが (読み取りが問題になる可能性があります)、これを行う方法の問題に遭遇しました。HBase シェルでのベクトルの表現は次のようになります。

列=d:ベクター、タイムスタンプ=1431936909897、値=\x01\x00breeze.linalg.SparseVector$mcD$s\xF0\x01\x00\x01\x01breeze.collection.mutable.SparseArra\xF9\x01\x1A\x01\x02 [\xC4\x01\x0 E?\xF0\x00\x00\x00\x00\x00\x00?\xC5-\xF2\x15\x85Z:?\xD6,{ci\xA8\x08@\x06P\xE3\ x85\xACy'?\xEB\xA2\x09\xAA\xA3\xAD\x19?\xE4M\xCB\x98\xB8\x00f?\xE8\x00\x00\x00\x00\x00\x00@"\xA4Z\ x1C\xAC\x081?\xEB\xB0\xE3\xCD\x9AR&?\xE4\xB7\xF7K`\xDD)?\xEA\xD3\xC0\x06\x14\xEC\xF7?\xF3\x01]\xE8R46 ?\xC45\x03\x97\xE5\x0E\x8D\x0A\x00\x00\x00\x00\x00\x00\x00\x00\x01\x0E\x02\ x0A0~\xB2\x01\xCC\x01\xBA \x02\xD22\xE4a\xDA\xB6\x0A\xD0\x8B&\xC0\xC0)\xDA\xCC\x05\x01\xC0\x84=\x01\x03breeze.storage.ゼロ$ダブルゼロ\xA4\x01\x01\x03\x06

これを、ベクトルをテキスト ファイルにシリアル化するときに取得する「通常の」バイト コードと比較するにはどうすればよいですか? 誰かがすでに同様の問題を抱えていて、アドバイスを与えることができますか?