Facebook の HiPal データ分析ツールのナレッジ マネジメント機能とは何ですか? また、どのように機能しますか? 純粋に Hadoop 環境向けに設計されているのか、それとも他の DB で使用できるのか?
2 に答える
HiPal は一般に公開されていないため、これは憶測にすぎません。
HiPal は、HIVE と呼ばれる SQL に似たプログラムの UI です。Hive は、Hadoop ファイル システム内のファイルに対して SQL のようなクエリを実行できるようにするプログラムです。Hadoop は、大規模な (数テラバイト) データ セットに使用される分散型マップ/リデュース アーキテクチャです。
しかし、それはオープンソースではないため、私たちはそれを手に入れることができません. しかし、これは他のデータベース システムでは使用されません。
Facebook は Hive ( http://borthakur.com/ftp/hadoopworld.pdf ) を使用してデータを処理します。Hive は、Hadoop 上で実行される SQL に似たフレームワーク インターフェイスであり、Facebook チーム自身によって作成され、後で apache コミュニティに寄贈されました。
彼らは、Hive/Hadoop で 20 PB のデータを分析していると言います。
クイック スタート ガイドは次のとおりです: https://cwiki.apache.org/confluence/display/Hive/GettingStarted