問題タブ [cascalog]

CascalogとDatomicはどちらも、クエリ エンジンとして( SQL経由で) Datalogを使用することを選択しました。

Dave Thomasは次のように主張しています。

少量のスペースでの大規模なクエリには、SQL よりも Datalog の方が適しています。

私の質問は次のとおりです。データログは、列指向データベースの SQL よりも効率的ですか?

ラムダ アーキテクチャに関する Nathan Marz の本を読みました。私は実際にこのソリューションの概念実証を行っています。

Jcascalog クエリを作成するのが困難です。

これは、私たちが興味を持っている私の倹約スキーマの一部です:

Pail を使用していくつかのデータを次のフォルダーに保存しました: /home/tickets

ここで、このデータに対してリクエストを行いたいと思います: 商品名ごとにグループ化された数量の合計を取得したいと考えています。そのため、最初に名前を取得し、次に数量を取得する必要があります。それぞれについて、記事のIDを取得できます。

たとえば、名前 request(id_article, name) に対して次の結果が得られます: (1, パスタ) - (2, パスタ2) - (3, パスタ)

数量リクエスト (id_article, quantity) の場合: (1, 2) - (2, 1) - (3, 1)

問題は、結果をマージする方法がわからないことです。Cascalog と HDFS のデータとの結合を実行するにはどうすればよいですか?

Cascalog を使用して処理したい Json ファイルのディレクトリがあります。私が現在持っている解決策では、bash スクリプトを使用して、json ファイルからすべての改行文字を削除する必要があります。rsyncを使用してこれらのファイルを同期しているため、より良い解決策を探しています。

私の質問は、Cascalog でファイルの内容を読み取り、ファイルの内容を 1 つのタプルとして返すことができるかということです。現在、関数「lfs-textline」はファイル内の各行のタプルのシーケンスを返すため、改行文字を削除する必要があります。できれば、各ファイルの一連のタプルを返したいと思います。

jarAWS-EMR クラスターで Clojure を実行し、以下を使用(hfs-textline)して取得します。

IllegalArgumentException bucketName パラメータを指定する必要があります。com.amazonaws.services.s3.AmazonS3Client.rejectNull`.

Cascalog クエリの結果を MySQL データベースに書き込もうとしています。このために、私はcascading-jdbcを使用しており、ここで見つけた例に従っています。私はバージョンで使用cascading-jdbc-coreしています。cascading-jdbc-mysql3.0.0

REPL からこのコードを正確に実行しています。

コードを実行していると、REPL 内に次のログが表示されます。

すべてがうまく見えます。ただし、データは書き込まれません。tcpdumpローカルの MySQL データベースとの接続さえ確立されていないことを確認しました。また、JDBC-connection-string を明らかに間違った値 (存在しないユーザー名、存在しない DB 名、さらには DB サーバーの存在しない IP) に変更すると、同じログが取得されます。何にでも文句を言う。

また、を変更するjdbc-tapとstdout、期待値が生成されます。

これをデバッグする方法がまったくわかりません。エラー出力を生成する可能性はありますか? 今のところ、何が問題なのかわかりません。