問題タブ [data-lake]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Hadoop 対データレイク
Data Lakeという新しい用語を耳にしました。私はググってそれを得た
データ レイクは、大規模なストレージ リポジトリおよび処理エンジンです。データレイクは、「あらゆる種類のデータのための大容量ストレージ、巨大な処理能力、および事実上無制限の同時タスクまたはジョブを処理する機能」を提供します。
データ レイクという用語は、Hadoop 指向のオブジェクト ストレージに関連付けられることがよくあります。このようなシナリオでは、組織のデータが最初に Hadoop プラットフォームに読み込まれ、次に商用コンピューターの Hadoop のクラスター ノードにあるデータにビジネス分析とデータ マイニング ツールが適用されます。
同じことが Hadoop によって行われます。ストレージ用の HDFS とコンピューティング用の MapReduce があります。Hadoop と Data lake について少し混乱しています。両者の違いは何ですか。それらが同じである場合、この用語が発生する理由。または、データレイクを定義する方法。
amazon-s3 - S3 メタデータのインデックス作成とナビゲート
重要な数の S3 CSV ファイルを取得しています。S3 ファイルごとに、
csv 列を説明し、追加情報を提供する興味深いメタデータをfo.csv含むファイルがあります。fo.metadata.txt
すべてのcsvファイルのメタデータをナビゲートして情報をすばやく取得し、異なるCSV列間の関係を見つける最良の方法を探しています。
powershell - Powershell - Azure Data Lake Store で再帰的
データレイクストアとサブディレクトリ内のディレクトリ内のすべてのファイルを一覧表示する方法を知っている人はいますか? どうやら、-recursive通常の環境でのように命令が機能しないようです
このスクリプトを Azure Data Lake Store で実行する必要があります (私のコンピューターでは適切に実行されます)。
Get-AzureRmDataLakeStoreChildItem明らかに-recursiveサポートされていないコマンドを使用しています。
誰か助けてくれませんか？
ありがとう
hadoop - MetaStoreEventListener を拡張してメタデータ レベル イベントの変更にアクセスするための Hive フックの記述方法
パーティションの追加、削除、テーブルの追加と削除などのイベントベースのトリガーなど、通常はハイブサーバー2に保存されるハイブメタデータレベルのイベントを取得することに興味があります。抽象クラスMetaStoreEventListenerが既にありますが、すべてのメタデータ関連情報にアクセスするための同じものの確実な実装。正しい方向への洞察を教えてもらえますか？