pdf - ArXivレプリケーションブレーンストーミング

Question

arXiv e-printアーカイブには、さまざまな科学分野からの数テラバイトの論文があります。このデータの完全なコピーを自分のコンピューターに保持したいユーザーもいれば、特定のカテゴリーの最新の論文をダウンロードしたいユーザーもいます。彼らは、ある種の分散ダウンロードシステム（BitTorrentなど）を使用して帯域幅の負荷を軽減しようとしています。これらすべてをカバーするプログラムまたはプログラムのセットのアイデアを探しています。

Answer 1

完全なPDFコンテンツはAmazonクラウドにあります。

arXivには60万を超える論文がありますが、PDFの合計サイズは1/2TB未満です。

http://arxiv.org/help/bulk_data_s3

T。

Answer 2

arXivは、まさにこの目的のためにhttpdアクセラレータモードのsquidを推奨しています。これが十分ではない特別な理由はありますか？

Answer 3

私の最初のアイデアは、これはUsenetニュースグループに非常によく似ており、サーバー上のメッセージの永続性が無限であるということです。しかし、PDFでどれだけうまく機能するかはわかりません。