sql - SQL サーバー用の TPC-DS データベースの生成

Question

SQL Server用の Transaction Processing Performance Council のTPC-DSデータベースを設定するにはどうすればよいですか? TPC-DS ツールをダウンロードしましたが、使用方法に関するチュートリアルがほとんどありません。

Answer 1

Windows を使用している場合は、Visual Studio 2005 以降が必要です。dsgen2.slnファイルがあるフォルダーツールでdsgenを解凍し、ビジュアルスタジオを使用してそれを開いてプロジェクトをビルドすると、テーブルが生成されます。私はそれを試し、手動でテーブルをSQLサーバーにロードしました

Answer 2

基本的な手順を説明しましょう。

1. 次のステップに進む前に、必要な TPC-DS キットがまだ DB 用に準備されていないことを再確認してください。

2. TPC-DS ツールのダウンロード

3. 「v2.11.0rc2\tools\How_To_Guide-DS-V2.0.0.docx」に記載されているツールをビルドします (私はVS2015を使用しました)

4. DB作成

tpcds.sqlおよびtpcds_ri.sql ( 'v2.11.0rc2\tools\'フォルダにあります) に記述されている DB スキーマを取得し、必要に応じて DB に合わせます。

5. データベースに保存するデータを生成する

# Windows
dsdgen.exe /scale 1 /dir .\tmp /suffix _001.dat

# Linux
dsdgen -scale 1 -dir /tmp -suffix _001.dat

6. DBにデータをアップロード

# example for ClickHouse

database_name=tpcds
ch_password=12345

for file_fullpath in /tmp/tpc-ds/*.dat; do
  filename=$(echo ${file_fullpath##*/})
  tablename=$(echo ${filename%_*})
  echo " - $(date +"%T"): start processing $file_fullpath (table: $tablename)"

  query="INSERT INTO $database_name.$tablename FORMAT CSV"
  cat $file_fullpath | clickhouse-client --format_csv_delimiter="|" --query="$query" --password $ch_password
done

7. クエリを生成する

# Windows
set tmpl_lst_path="..\query_templates\templates.lst"
set tmpl_dir="..\query_templates"
set dialect_path="..\..\clickhouse-dialect"
set result_dir="..\queries"
set tmpl_name="query1.tpl"

dsqgen /input %tmpl_lst_path% /directory %tmpl_dir% /dialect %dialect_path% /output_dir %result_dir% /scale 1 /verbose y /template %tmpl_name%

# Linux
# see for example https://github.com/pingcap/tidb-bench/blob/master/tpcds/genquery.sh

「初期化される前に置換が使用されています」というエラーを修正するには、この修正に従ってください。