0

AWS アカウントにこの実際の DynamoDB インスタンスを取得しました。このインスタンスには、テーブルと行が既に入力されています。

DynamoDB をローカルで実行するテスト シナリオを作成する必要があるため、そのために Docker を使用しています。

Real DynamoDB のいくつかの行を含むテーブルをエクスポートしました。私が達成したいのは、起動時に DynamoDb Local が空にならないように、.csv ファイルなどを渡して Docker インスタンスを実行することです。

それは可能ですか？

4

1 に答える 1

0

公式の DynamoDB-Local がデフォルトでこれをサポートしているかどうかはわかりませんが、csv を dynamodb にインポートするカスタム スクリプトが必要なようですが、必要に応じてカスタマイズされたイメージを作成できます。たとえば、簡単なDockerfile使い方amazon/dynamodb-localから始めて、csv ファイルのインポートを担当する python スクリプトを追加すると、手順は次のようになります。

  • CSV をコンテナ内にマウントする/docker-entrypoint-initdb.d
  • entrypoint.sh スクリプトを作成して、コンテナのエントリポイントとして使用します。また/docker-entrypoint-initdb.d、Python スクリプトに渡すために csv ファイルが内部にあるかどうかを確認します -以下にコードを追加- たとえば、dynamodb 内にロードします以下のように ( mongodb の entrypointから取得):
        for f in /docker-entrypoint-initdb.d/*; do
            case "$f" in
                # if csv file pass it to the python script
                *.csv) echo "$0: running $f"; . "$f" ;;
                *)    echo "$0: ignoring $f" ;;
            esac
            echo
        done

  • 次のコードは、私がテストまたは作成したものではありません。次のリンクからコピーしたところです。 boto (Python パッケージ) を使用して CSV ファイルを DynamoDB テーブルにインポートします。必要に応じて変更するか、独自のスクリプトを作成するか、回答を更新するために、より良い提案があればお知らせください。

  • 次の回答で説明されているように、boto は dynamodb-local をサポートしています。つまり、スクリプトを変更して dynamodb local で動作させることができます。

import boto

MY_ACCESS_KEY_ID = 'copy your access key ID here'
MY_SECRET_ACCESS_KEY = 'copy your secrete access key here'


def do_batch_write(items, table_name, dynamodb_table, dynamodb_conn):
    '''
    From https://gist.github.com/griggheo/2698152#file-gistfile1-py-L31
    '''
    batch_list = dynamodb_conn.new_batch_write_list()
    batch_list.add_batch(dynamodb_table, puts=items)
    while True:
        response = dynamodb_conn.batch_write_item(batch_list)
        unprocessed = response.get('UnprocessedItems', None)
        if not unprocessed:
            break
        batch_list = dynamodb_conn.new_batch_write_list()
        unprocessed_list = unprocessed[table_name]
        items = []
        for u in unprocessed_list:
            item_attr = u['PutRequest']['Item']
            item = dynamodb_table.new_item(
                    attrs=item_attr
            )
            items.append(item)
        batch_list.add_batch(dynamodb_table, puts=items)


def import_csv_to_dynamodb(table_name, csv_file_name, colunm_names, column_types):
    '''
    Import a CSV file to a DynamoDB table
    '''        
    dynamodb_conn = boto.connect_dynamodb(aws_access_key_id=MY_ACCESS_KEY_ID, aws_secret_access_key=MY_SECRET_ACCESS_KEY)
    dynamodb_table = dynamodb_conn.get_table(table_name)     
    BATCH_COUNT = 2 # 25 is the maximum batch size for Amazon DynamoDB
    
    items = []
    
    count = 0
    csv_file = open(csv_file_name, 'r')
    for cur_line in csv_file:
        count += 1
        cur_line = cur_line.strip().split(',')
        
        row = {}
        for colunm_number, colunm_name in enumerate(colunm_names):
            row[colunm_name] = column_types[colunm_number](cur_line[colunm_number])
         
        item = dynamodb_table.new_item(
                    attrs=row
            )           
        items.append(item)
        
        if count % BATCH_COUNT == 0:
            print 'batch write start ... ', 
            do_batch_write(items, table_name, dynamodb_table, dynamodb_conn)
            items = []
            print 'batch done! (row number: ' + str(count) + ')'
    
    # flush remaining items, if any
    if len(items) > 0: 
        do_batch_write(items, table_name, dynamodb_table, dynamodb_conn)

        
    csv_file.close() 


def main():
    '''
    Demonstration of the use of import_csv_to_dynamodb()
    We assume the existence of a table named `test_persons`, with
    - Last_name as primary hash key (type: string)
    - First_name as primary range key (type: string)
    '''
    colunm_names = 'Last_name First_name'.split()
    table_name = 'test_persons'
    csv_file_name = 'test.csv'
    column_types = [str, str]
    import_csv_to_dynamodb(table_name, csv_file_name, colunm_names, column_types)
    

if __name__ == "__main__":
    main()
    #cProfile.run('main()') # if you want to do some profiling

test.csv のコンテンツ (Python スクリプトと同じフォルダーに配置する必要があります):

John,Doe
Bob,Smith
Alice,Lee
Foo,Bar
a,b
c,d
e,f
g,h
i,j
j,l
于 2019-03-18T00:26:10.110 に答える