問題タブ [data-extraction]

古いソフトウェア - CIMplicity HMI Plant Edition バージョン 6.0 のデータ ファイルからデータを抽出する任務を負っています。2002 年の SCADA ソフトウェアです。データ ファイル ディレクトリのコピーがあり、多くの *.DAT および *.IDX ファイルが含まれています。このデータを CSV または SQL データベースに抽出する必要があります。一部の DAT ファイルは単なるプレーン テキストですが、その他のファイルはバイナリ形式であり、PSPad で開くと HEX ビュー モードで表示されます。

これらのファイルからデータを確実に読み取って抽出するには、どのツールを使用できますか?

ティア。

更新: データ ファイルを含むディレクトリのディレクトリ リストを追加しました。

更新: 添付された point.dat のスクリーンショット:

シート 1: 列 AI に日付があります。列 BI には通貨の値があります。シート 2 で、特定の指定された 1 週間の日付範囲のみに対応するシート 1 の通貨値の合計を見つけるにはどうすればよいですか?

シリアル ポート通信を介して文字列でデータを受信して​​います。その部分はうまく機能しています。データの形式は次のとおりです。

しかし、これは、発見された人の各ブログ (緯度/経度、日付と時刻の位置を含む) の間で少し異なる可能性があります。

正規表現を試しましたが、うまく使用する方法がわかりません。数字だけを抽出する正規表現もあります。

私が望むのは、たとえば距離走行の特定の値を抽出することです。最初の値は36インチで、それを保存するなどです。次に、方向の値を度で取得して別の変数に保存し、最後に緯度と経度を取得して別の変数に保存します。後でそのデータを使用してプロットするためのリストを作成するには、この値が必要です。私はすでに描画部分を持っています。

私はこれを試しました：

このパターンは、距離が 2 つの数値のみであるが、その値は 1 つまたは 3 つの数値である可能性があることのみを考慮していることを知っています (例: 走行距離: 1 インチまたは走行距離: 219 インチ)

しかし、機能していません。助けやアドバイスをいただければ幸いです。前もって感謝します。

ファイルからデータを抽出する正規表現を作成しようとしています。

ファイルは次のようになります。

このファイルには、上記のように複数行のレコードが含まれています。ファイルの各行には、固定位置にコードがあります (100 - 記録の開始、101 - 記録の詳細、102 - 記録の終了)。List<List<string>>そのファイルから、外側のリストがファイル内のすべてのレコードのグループを格納するような構造を抽出したいと思います。

私の最初のアプローチは、このファイルを で解析することforeachでしたが、RegEx でこれを実現する方法があるはずです。そして、正規表現の知識を広げたいと思っているので、それは私にとって素晴らしい例だと思います.

そのようなデータを正規表現で解析することは可能ですか? もしそうなら、誰かが正規表現自体を手伝ってくれますか?

ありがとう！

テキストからエンティティを抽出するための優れたソリューションを探しています。私の場合、エンティティは映画のタイトル (非常に長い文字列になる可能性があります) であり、データベースに格納しています。

これを行う良い方法は何でしょうか? この種のタスクを実行するために既に開発されたソフトウェアはありますか?

nltk を見たことがありますが、必要なのはそれほど複雑ではありません。文字列の (巨大な) リストが与えられた場合、入力テキストでそれらを識別します。

ありがとう！

これがどのように行われるのか疑問に思っています。外部 Web サイトに単純な HTML テーブルがあり、その HTML テーブルと同じ構造のデータベースがあるとします。file_get_contentsを使用してその Web ページ全体を取得できることを理解しています。

そこから、タグfile_get_contents間のものを除いてすべてを削除して<table></table>、書き込みたいデータを含むテーブルを分離すると仮定します。

次のステップは何ですか？データベースのテーブル構造が HTML テーブルの構造と一致すると仮定すると、テーブル データをデータベースに書き込む最も簡単な方法は何ですか?

私はここ数週間、完全に構築されたツール、または Web インターフェイスを介してデータを動的に抽出するために構築できる何かの方向性を探していました。基本的に、私が探しているのは、データベースから利用可能なすべてのデータオブジェクトのリストをユーザーに提供し、リストから表示したいものを選択してパラメーターを設定し、結果をExcelファイルにエクスポートする方法です.

現在、純粋に SQL ステートメントを使用して実行していますが、何百ものオブジェクトがあるため、ご想像のとおり、これらのステートメントは非常に複雑で、エラーが発生しやすくなっています。これを行うためのツールが利用できるか、誰かがこれを整理する簡単な方法を考えていれば、それは素晴らしいことです. どんな助けでも大歓迎です。

QlikView や Tableau などの BI ツールを見てきましたが、それはおそらく私たちがやろうとしていることに対してやり過ぎです。私たちが調べてきたオープンソースの BI ツールは、その機能が非常に原始的であるように見えました。他に見たのは MSAS (私たちの DB は SQL Server) でしたが、データベースにとらわれず、データベースではなく Web サーバー上にあるものを好みました。