12

スクリプトを高速化しようとしています。これは基本的に、Velodyne の Lidar HDL-32 情報を含む pcap ファイルを読み取り、X、Y、Z、および強度の値を取得できるようにします。を使用してスクリプトをプロファイリングしましたが、関数呼び出しpython -m cProfile ./spTestPcapToLas.pyに最も多くの時間を費やしています。readDataPacket()小規模なテスト (80 MB ファイル) では、解凍部分に実行時間の約 56% がかかります。

readDataPacket私はこのように関数を呼び出します（ chunkpcapファイルを参照します）：

packets = []
for packet in chunk:
    memoryView = memoryview(packet.raw())
    udpDestinationPort = unpack('!h', memoryView[36:38].tobytes())[0]

    if udpDestinationPort == 2368:
        packets += readDataPacket(memoryView)

readDataPacket()関数自体は次のように定義されます。

def readDataPacket(memoryView):
    firingData = memoryView[42:]    
    firingDataStartingByte = 0    
    laserBlock = []

    for i in xrange(firingBlocks):
        rotational = unpack('<H', firingData[firingDataStartingByte+2:firingDataStartingByte+4])[0]        
        startingByte = firingDataStartingByte+4
        laser = []
        for j in xrange(lasers):   
            distanceInformation = unpack('<H', firingData[startingByte:(startingByte + 2)])[0] * 0.002
            intensity = unpack('<B', firingData[(startingByte + 2)])[0]   
            laser.append([distanceInformation, intensity])
            startingByte += 3
        firingDataStartingByte += 100
        laserBlock.append([rotational, laser])

    return laserBlock

プロセスをスピードアップする方法についてのアイデアはありますか? ちなみに、X、Y、Z、Intensity の計算には numpy を使用しています。

4

4 に答える 4

13

Numpy を使用すると、これを非常に迅速に行うことができます。ndarrayこの場合、コンストラクターを直接使用するのが最も簡単な方法だと思います。

import numpy as np

def with_numpy(buffer):
    # Construct ndarray with: shape, dtype, buffer, offset, strides.
    rotational = np.ndarray((firingBlocks,), '<H', buffer, 42+2, (100,))
    distance = np.ndarray((firingBlocks,lasers), '<H', buffer, 42+4, (100,3))
    intensity = np.ndarray((firingBlocks,lasers), '<B', buffer, 42+6, (100,3))
    return rotational, distance*0.002, intensity

これは、ネストされたリストの代わりに個別の配列を返します。これは、さらに処理するのがはるかに簡単です。入力として、bufferオブジェクト (Python 2 の場合) またはバッファー インターフェイスを公開するものを受け取ります。残念ながら、どのオブジェクトを正確に使用できるかは、Python のバージョン (2/3) によって異なります。しかし、この方法は非常に高速です。

import numpy as np

firingBlocks = 10**4
lasers = 32
packet_raw = np.random.bytes(42 + firingBlocks*100)

%timeit readDataPacket(memoryview(packet_raw))
# 1 loop, best of 3: 807 ms per loop
%timeit with_numpy(packet_raw)
# 100 loops, best of 3: 10.8 ms per loop
于 2016-04-23T10:15:21.773 に答える
9

Structモジュール レベルのメソッドを使用した Python レベルのラッピング コードを回避するために、事前にコンパイルします。ループの外で行うので、建設費が重複して支払われることはありません。

unpack_ushort = struct.Struct('<H').unpack
unpack_ushort_byte = struct.Struct('<HB').unpack

Structメソッド自体は、CPython の C で実装されます (そして、モジュール レベルのメソッドは、フォーマット文字列を解析した後、最終的に同じ作業に委譲されます)。そのため、一度ビルドしてバインドStructされたメソッドを格納すると、重要な量の作業が節約されます。少数の値。

一度に 1 つずつではなく、複数の値をまとめて展開することで、作業を節約することもできます。

distanceInformation, intensity = unpack_ushort_byte(firingData[startingByte:startingByte + 3])
distanceInformation *= 0.002

Dan が指摘しているように、 を使用してこれをさらに改善できます。これによりiter_unpack、バイト コードの実行量と小さなスライス操作の量がさらに削減されます。

于 2016-04-22T15:20:35.567 に答える