問題タブ [data-processing]

私は、複雑さがユーザーの操作にあるソフトウェアの計画に慣れています。私が学んだアジャイル ソフトウェア エンジニアリングの原則は、この種のシナリオでうまく機能します。ユーザー ストーリーは、計画のほとんどがユーザー インタラクションに関するものであれば、非常に簡単に書き出すことができます。

私は現在、ユーザーが行う唯一の介入が実行ボタンを押して、エラーが発生した場合にエラーを読み取るシステムに取り組んでいます。

このシステムの他のすべての作業は、データ処理であり、非常に重いデータ処理です​​。この処理ワークフローでは、約 5 つの異なるデータ変換を計画しています。

これらのプロセスは本質的に疎結合であるため、個別のプロセスとして簡単に計画し、ワークフローに組み込むことができます。それでも、データ駆動型プロセスの計画の問題は依然として残っていますが、規模は小さくなります。

このようなデータ主導のプロセスを計画するにはどうすればよいですか? このタイプのソフトウェアの既知の設計プロセスはありますか?

複雑なプロセスをSQLから.NETアプリケーションに移動しています。私は、SQLから必要なデータのみをプルダウンし、データテーブルに格納するというブルートフォースアプローチを採用しています。ステッピングを使用したパイプラインパターンを使用して、並列で実行できるプロセスを分割しました（他のプロセスに依存せず、同じデータビットで作業することもありません）。

すべてが順調に進んでいますが、DataSet/DataTable構造よりも優れたパフォーマンスを発揮するインメモリSQLソリューションがあるかどうかを知りたいです。一度に5万行について話し、最大1mのサポートデータ行（5b行を読み取る）を使用します。1行（サポートするすべてのデータ行を含む）の行サイズは、おそらく平均で約1Kです（文字列が大きいため）。

私の質問は、特にデータセットのパフォーマンス、メモリオーバーヘッド、および永続性に関するものです。リカバリの目的で、各段階でデータをディスクにシリアル化する必要があります。

代わりに、行を強く型付けされたモデルにマップする方がよいでしょうか？データセットの関係やその他の利点は必要ありません。並列処理を使用して、ほとんどの検索機能を独自のものに置き換えました。

データはプリミティブ型のみを使用し、ブロブ、ストリーム、地理などは使用しません。

腕時計に組み込まれた加速度計によって制御されるアプリケーションを作成しています。コマンドの1つに「フォアハンドを乱暴に振る」というコマンドが欲しいです。どのようにそれを検出し、それがどのくらい続くかを測定するのですか?

だから私はいくつかのテーブルを持っています（pythonですが、これを行うことができる言語/プログラムにはオープンです）：

この表を取引されている株式の表と比較できるかどうかを知りたい :

コヒーレンス、論理パターンを見つけます...次のような関数で最も望ましい

x はテーブル内の位置

もちろん、株式の場合、「未来」を予測できるパターンのみを知りたいのですが、それは質問の要点を変えません:

データセットでそのようなパターンを見つけるにはどうすればよいですか?

またはのかさばる出力を分類するためのコマンド/ツール/スクリプトはありますec2-describe-imagesかec2-describe-instances。

私は約100台のサーバーのリストを持っています。RESERVATION- 、、、INSTANCEのような適切な見出しの下にそれらを分類したいと思います（出力BLOCKDEVICEでTAG利用可能なカテゴリは何でも）。

メソッドcreate_school_headがあるAdminControllerという名前のコントローラーがあります。

また、ビューcreate_school_headがあります:

Routes.rb

現在、データを渡してユーザーコントローラーのメソッドを作成しています。ボタンがAdminControllerの他のメソッド、たとえばメソッドprocess_school_headで送信された後、このフォームからデータを送信したいと思います。どうやってやるの？

RoRアプリを開発していて解決できない問題に遭遇しました。UserとTeacherの2 つのモデルがあります。

また、ユーザーと教師のデータを埋めるためのフォームを表示しています。このフォームからデータを送信した後、コントローラーの別のメソッドであるcreate_teacherに入ります。また、私は他のメソッドnew_teacherを持っています。このメソッドには、フォームを含むビューがあります。

私の見解new_teacher.html.erb

2 つの質問があります。

1) すべてのエラーを表示するにはどうすればよいですか (ユーザーと教師の場合)? それは可能ですか？

2) create_teacherメソッドからadmins_new_teacher_pathにリダイレクトするときに、データをフォームに保持することは可能ですか?

非同期データ処理用のPHPコンポーネントを探しています。

基本的に必要なのは、一部のデータ処理の進行状況を表示するjavascriptで更新された進行状況バーのあるページを表示することです。

バックエンドで、データプロセスの制限を定義します。これは、個々のアイテムを処理するために呼び出す開始、終了、および関数です。

CMSとフレームワークにはこれに対する解決策がたくさんあります。アプリケーションに含めることができる生のPHPの何かを探しています。

.wav ファイルから HTK によって生成された MFCC (メル周波数ケプストラム係数) ファイルがあります。必要なのは、MFCC からタイム スパンを抽出することです。MFCC ファイルが 90 分のオーディオを表す場合、オーディオの 3 分の MFCC などを取得したいと考えています。

HTK ブックによると、MFCC ファイルはヘッダーとサンプルの連続したシーケンスで構成されています。しかし、サンプルの正確なサイズをバイト単位で決定することは簡単ではないようです。

おそらくファイルのパーサーはありますか？(もちろん、HTK にはありますが、このタスクでバイナリを使用する方法を理解できませんでした。)

または、ファイルを単純に分割できるように、サンプルとヘッダーのサイズを決定する簡単な方法はありますか?