問題タブ [data-management]

私のアプリケーションでは、新しい画像を生成することがあります。ここでコメントを読んだ後、写真をファイルシステムに保存し、メタデータをデータベースに保存することにしました。これで、ファイルはデータベースとは独立して静的に提供されます（bdは、ユーザーがアクセスしたいファイル名をユーザーに提供し、そこからプルします。静的ファイルサーバー）。

しかし、私がここで抱えている問題は、他のユーザーが作成した写真を常にユーザーに見せたいとは限らないということです。たとえば、ユーザーJoeが画像AとBを作成し、ユーザーSueがCとDを作成するとします。JoeにCとDを表示させたくないし、SueにAとBを表示させたくないとします。静的に提供され、JoeがCのURLを推測した場合、彼はそれにアクセスできます。

写真の提供方法は私のdjangoの制御がほとんど及ばないため、ファイルの暗号化（複雑でリソースを大量に消費する）を除いて、ここでの解決策がどうなるかわかりません。

Web サービス呼び出しからの膨大な量のデータを処理するアプリを開発する必要があります。

検索バー付きの UITableView があります。ユーザーが文字を入力するたびに、テーブルビューは検索バーのテキストに対応する検索結果を動的に表示する必要があります。

この種のデータ転送を処理する最善の方法は何ですか? ユーザーが文字を入力するたびにリクエストを送信するのは、悪い考えのようです。

以下に作成された次のデータフレームがあります。

11個のダミー変数を作成しようとしています。トップ10のそれぞれに1つと「その他」。トップ10は、次の方法で簡単に見つけることができます。

Rが素晴らしいことはわかっているので、トップ10からダミー変数を自動作成（および名前付け）し、残りを「その他」と呼ばれる最終ダミーに折りたたむのは簡単だと思います。

ヘルプや洞察を事前に感謝します。

私は、NSCoding（NSKeyedArchiver ...）の長所とCoreData（SQLite ....）の使用に対する短所を説明する記事を探していました。

多くのオプションがあります。独自のカスタムバイナリリーダー/ライターを実装するか、plists / xml / json ...を使用するか、SQLiteまたはNSCodingを使用できます。

私は今ちょっと迷っています。主な機能の違いを説明できる人はいますか？

Depthでのデータベースシステムの実装について学びたいです。コードを実行できる教育目的のデータベースのオープンソースの単純な実装はありますか？多くのOS実装があるように（Minix、Pintos ...）。データベース教育にも同様のシステムがあるのではないかと思います。

私はいくつかの教科書を読みました、そしてそれらは主に理論と概念に焦点を合わせています。

どうもありがとう！アルフレッド

これを何というタイトルにしようか迷いました。

人、年、活動のデータセットがあります

年と活動の列を結合したいのですが、元の年の列では、id との関連付けを維持しながら、年ごとに +/- 3 年を生成したいと考えています。

これを 2 つの手順で行った場合: ID "1" の場合、元の年は 1971 年であるため、ID 1 の +/-3 年は次のようになります。

ステップ 2 では、この all_years 列を元の df の activities 列と結合し、ID を保持します。したがって、ID「1」には 3 つの活動 (a、b、c) と 7 年 (1968:1964) があるため、ID「1」は新しい結合列に 10 回表示されます。

したがって、最終的には、次のような結果になります。

いつもありがとうございます！

iPhone アプリケーションで、オンライン データベースからデータを取得する最良の方法は何ですか? (SQLite または mysql)

私が達成したいのは、アプリケーション内でオンライン データを読み書きすることです。

また、開発者がサーバー側のリソース (xml、json、データベース テーブルなど) からアプリに情報を取得する方法は?

大量 (~ 100 GB から数 TB) の科学データを保存するための優れたデータベース ソリューションを探しています。より大量のデータを処理できることが理想的です。

要件

私のデータファイルは「画像」で、最大 400 万のエントリ配列 (1000x1000x3 ints + 1000x1000 float) と、画像ごとに最大 50 ～ 100 エントリの関連メタデータです。メタデータは階層的に格納されます。画像は、1 つまたは複数の「フォルダー」(または「プロジェクト」) に編成され、そのフォルダー自体に他のフォルダーを含めることができます。すべてに所有者などがいます。

主にそのメタデータに基づいて、1 つまたは複数のフォルダー内の 100 ～ 10,000 の画像を検索する必要があります。次に、画像からスライスを取得する必要があるかもしれません。データの一部しか必要ない場合は、すべてのデータをロードしたくありません。画像は圧縮形式で保存する必要があります。

編集：均一なデータがないことを強調することが重要です。たとえば、画像は、通常 10^5 から 10^6 のエントリを持つ不明な次元の float または int であり、画像ごとのメタデータの数は異なる場合があります。もちろん、複数の画像にわたるメタデータの検索は、同一のキーを持つものに限定されます。

現在のアプローチ

私の現在の、そしてそれほど優れていない解決策は、データベースを混在させることです。まず、SQL データベース (現在は Django + MySQL) を使用して「フォルダー」、所有者を処理し、各画像のレコードを持っていますが、そのデータはありません。メタデータのレコードも作成する場合があります。次に、PyTables を使用して画像とメタデータを hdf5 形式で保存し、データベースのように扱います。これにより、スライシングと圧縮の問題が解決され、メタデータを階層的に格納できるようになりますが、PyTables はスケーラブルではないようで、商用データベースよりもはるかに開発が進んでいません。(これはマルチユーザー環境用に作成されたものではありません: 私は独自のロックを作成しています! これは悪い兆候です。)

ヘルプ！

私は筋金入りのプログラマーではないので、標準的なデータベース ソリューションを強くお勧めします。私の「最適化」には、間違いなくメンテナンスとプログラミングのコストが含まれます。お気に入りのデータベース ソリューションまたはアーキテクチャを推奨できる人はいますか? リレーショナル vs 階層 vs その他に関するアイデアはありますか?

オプションは、SciDB (一般的ではありませんが、良いかもしれません)、SQL (これらのアプリケーションには悪いと聞きました。おそらく PostgreSQL?)、および HBase (実際、私はそれについて何も知りません) です。科学、特に天文学のコミュニティには良い解決策があるに違いないと思いますが、大規模なプロジェクトを構築して維持するには真面目なチームが必要なようです。

より多くの情報を提供できることを嬉しく思います。

Webベースのアプリケーション用に非常に大量のデータを保存するための最良の方法は何でしょうか？

各レコードには3つのフィールドしかありませんが、1日あたり約1億4400万レコード（1か月間保存）、合計4,464,000,000レコードになります。50億に切り上げましょう。

データはキーワードで検索可能であり、エンドユーザーにできるだけ早く結果を返す必要があります。

• どのプログラミング言語？
• JSON / XML /聞いたことのないデータベースシステム？
• どんなインフラ？このシステムが同時に最大1,000人のユーザーのニーズにしか対応していないと想像してみてください。

10レコードを検索する場合でも、100億レコードを検索する場合でも、コードは同じだと思います。もっと効率的にする必要があります。また、mySQL / PHPにはチャンスがないと思います。そして、ホスティングソリューションに非常に多額の金額を支払うことになります。

本当に、どこから始めればよいかについてのガイダンスが必要です。ありがとうございました！

現在、データが必要なアプリに取り組んでいます。例: 本のリスト。最初の起動時に事前入力されたデータベースを作成する最良の方法は何ですか? それとも、最初の起動時にコア データベースにデータを入力する必要がありますか?

よろしくお願いします:)