5

これはよくある質問ですが、これをグーグルで検索すると、多くのがらくたになります。

データ量がますます増加するにつれて、処理能力とクラウド機能とともに、さまざまなサーバー間でデータを分散/移動/共有することで、利用可能なすべてのデータの能力を解き放つことができる高速データ転送テクノロジーの必要性が高まっています。クライアント。

私たちの場合、リアルタイムのバイナリデータ(1日50ギガ)を記録しており、サブスクライバーとの間で毎日アップロード/ダウンロードする必要があります(はい、コンピューティングやさまざまなために、すべてが各サブスクライバーサーバーによってローカルに必要です)データ分析のもの)

つまり、簡単に言えば、リモートWindowsサーバー間で多くのギグのデータを本当に高速に転送するために今日利用できる選択肢は何ですか(VPS、クラウド、「かなり」一貫した帯域幅-(光ファイバーは脇に置いておきます))

これは未解決の質問です。プロトコルが何であれ、すべてのアイデアを歓迎します。

4

1 に答える 1

3

ネットワークを介してデータを送受信するという課題は複数あります。

  1. ネットワーク帯域幅は最も制限的な要因であり、アプリケーションレベルでこれを行うためにできることはほとんどありません(データをときどき圧縮し、その場合でも圧縮率がゲインを決定することを除いて)。したがって、より高速なネットワークが最初の選択肢です。

  2. 特定のプロトコルは、特定のタイプのファイル/データを転送するのにより適しています。たとえば、httpはテキストベースのプロトコルであり、バイナリコンテンツや大きなコンテンツにはあまり適していません。しかし、バイナリコンテンツをネットワーク経由で送信する必要がある最も人気のあるWebプロトコル以来、エンコーディングやチャンク化などの技術が進化してきました。データがGBのオーダーである場合、HTTPは実際には選択できません。

  3. FTPは、ネットワークを介してファイルを転送するために使用される最も一般的なプロトコルであり、ファイルを転送するために特別に設計されています。大規模なデータ転送用 に特別に設計されたGridFTPbbftpなどのFTPの拡張機能がいくつかあります。

  4. BitTorrentsは、探索できるもう1つのオプションです。FacebookはBitTorrentsを使用してバイナリをサーバー(数万)にプッシュします。

あなたの問題は非常にオープンエンドであり、私は私の経験によって制限されています:)。これが私が見つけた大規模なデータ転送を扱っているリンクです。これがお役に立てば幸いです。

于 2012-07-19T13:56:50.230 に答える