python - python - simpledb - 大きな文字列をいくつかの1kb未満の値にシャード/チャンクする方法は?

Question

私は SimpleDB について調べてきましたが、1 つの欠点 (私にとって) は、属性制限ごとに最大 1kb です。私は多くの RSS フィード処理を行っており、フィード データを SimpleDB (記事) に保存することを望んでいました。これを行うための最良の方法は、複数の属性にわたって記事を分割することです。典型的な記事は 30kb 未満のプレーン テキストです。

現在記事データをDynamoDB(gzip圧縮)に問題なく保存していますが、コストが結構かかります。SimpleDB に移行して、まだ高速に取得できる安価なストレージを探していました。S3 のすべての rss 記事の json コピーもアーカイブしています (長年にわたる mysql の頭痛の種により、db を警戒しています)。

文字列を 1kb 未満の断片に分割することを知っている人はいますか? 再構築の順序のために、各チャンクに識別子を追加する必要があると思います。

どんな考えでも大歓迎です！

Answer 1

スライスする必要があります。ピースを追跡するだけです。

>>> x = "big string with lots of words"
>>> x[2:10]
'g string'
>>> x[10:20]
' with lots'
>>> x[20:29]
' of words'

Answer 2

大きなテキスト ドキュメントを Amazon S3 に保存することを選択しました (取得は速いようです)。S3 をフェイルオーバーとしてドキュメントをキャッシュするための EC2 インスタンスを実装します。