python - sqlalchemy 一括更新のパフォーマンスの問題

Question

ファイルで受け取ったデータを使用して、列の値を定期的にインクリメントする必要があります。テーブルの行数が 400000 を超えています。これまでのところ、私の試みはすべてパフォーマンスが非常に悪い結果になっています。私の要件を反映した実験を作成しました。

#create table
engine = create_engine('sqlite:///bulk_update.db', echo=False)
metadata = MetaData()

sometable = Table('sometable',  metadata,
    Column('id', Integer, Sequence('sometable_id_seq'), primary_key=True),
    Column('column1', Integer),
    Column('column2', Integer),
)

sometable.create(engine, checkfirst=True)

#initial population
conn = engine.connect()
nr_of_rows = 50000
insert_data = [ { 'column1': i, 'column2' : 0 } for i in range(1, nr_of_rows)]
result = conn.execute(sometable.insert(), insert_data)

#update
update_data = [ {'col1' : i, '_increment': randint(1, 500)} for i in range(1, nr_of_rows)]

print "nr_of_rows", nr_of_rows
print "start time   : " + str(datetime.time(datetime.now()))

stmt = sometable.update().\
        where(sometable.c.column1 == bindparam('col1')).\
        values({sometable.c.column2 : sometable.c.column2 +     bindparam('_increment')})

conn.execute(stmt, update_data)

print "end time : " + str(datetime.time(datetime.now()))

私が得る時間はこれらです：

nr_of_rows 10000
start time  : 10:29:01.753938
end time    : 10:29:16.247651

nr_of_rows 50000
start time  : 10:30:35.236852
end time    : 10:36:39.070423

そのため、400000 以上の行数を処理するには時間がかかりすぎます。

私は sqlalchemy を初めて使用しますが、多くのドキュメントを読みましたが、何が間違っているのか理解できません。

前もって感謝します！