mysql - XMLファイルに保存されているデータをリレーショナルデータベース（MySQL）に変換するにはどうすればよいですか？

Question

いくつかの統計を実行する必要がある研究プロジェクトのデータを含むXMLファイルがいくつかあります。データ量は100GBに近いです。

構造はそれほど複雑ではなく（リレーショナルモデルではおそらく10個のテーブルにマップできます）、問題の性質を考えると、このデータは二度と更新されません。クエリを実行しやすい場所でのみ利用可能である必要があります。の上。

XMLデータベースと、その上でXPATHスタイルのクエリを実行する可能性について読んだことがありますが、それらを使用したことはなく、あまり慣れていません。リレーショナルデータベースにデータを保存するのが私の好みです。

そのため、XMLに格納されているデータをリレーショナルデータベースに変換する方法を探しています（によって生成されたものと同様の大きな.sqlファイルをmysqldump考えてみてください。最終的な目標は、データを処理するためのSQLクエリを実行できるようにすることです。

いくつかの調査の後、私は自分でそれを書かなければならないとほとんど確信しています。しかし、これは一般的な問題だと思います。したがって、すでにそれを実行しているツールが必要です。

では、XMLデータをリレーショナルデータベースに変換するツールを知っていますか？

PS1：

私のアイデアは次のようになります（動作は異なりますが、私の主張を確実に理解するためです）。

PS2：

私はここSOでいくつかの投稿を見ましたが、それでも解決策を見つけることができませんでした。Microsoftの「XmlBulkLoad」ツールはその方向に何かをしているようですが、私はMSSQLServerを持っていません。

score 4 · Accepted Answer

データベースは、データを検索する唯一の方法ではありません。Apache Solrを強くお勧めします

生データを XML として保持し、Solr インデックスを使用して検索します

score 3 · Accepted Answer

適切な形式のXMLファイルをMySqlデータベースにインポートするのは簡単です。

つまり、通常、XMLデータをそのような形式に変換する必要があります。これをどのように行うかは、変換の複雑さ、知っているプログラミング言語、およびXSLTを使用するかどうかによって異なります（これはおそらく良い考えです）。

以前の回答から、Pythonを知っているように思われるので、 http： //xmlsoft.org/XSLT/python.htmlから始めるのが正しいかもしれません。

score 2 · Accepted Answer

データの分析/抽出には、XSD の代わりに StAX を検討してください。ストリームベースであり、巨大な XML ファイルを処理できます。

score 1 · Accepted Answer

商用製品に慣れている場合は、 SQLMaestroGroupによるMySQLのデータウィザードをご覧ください。

このアプリケーションは、特にMySQLデータベースとの間でデータをエクスポートおよびインポートすることを目的としています。これには、XMLインポートも含まれます。30日間の試用版をダウンロードして、これが探しているものであるかどうかを確認できます。

私はまだ彼らのMySQL製品ラインを使用していなかったことを認めなければなりませんが、FirebirdMaestroおよびSQLiteMaestro製品で優れたユーザーエクスペリエンスを提供しました。

score 1 · Accepted Answer

あなたが Perl に慣れているなら、私は非常にXML::Twig大きな XML ファイルを処理するためのモジュールでかなり幸運に恵まれました。

基本的に必要なのは、いくつかの twig ハンドラーをセットアップし、DBI/を使用してデータを MySQL にインポートすることだけDBD::mysqlです。

xmltwig.orgにかなり良い例があります。

5 に答える 5