scalapack ルーチン PDGESV を使用して一連の線形連立方程式 Ax = b を解く並列 fortran コードは、no. 式の N が大きくなります。問題が発生する N の正確な値は特定していませんが、たとえば、N= 50000 までテストしたすべての値に対してコードは完全に機能しますが、N=94423 で失敗します。
特に、scalapack PDGESV ルーチンの呼び出し中に障害が発生します (つまり、メモリの割り当て/割り当て解除時ではありません)。ルーチン PDGESV に入りますが、このルーチンを離れません。
Intel(R) Xeon(R) CPU E5-1660 v4 @ 3.20GHz プロセッサを使用して、148 GB メモリの Linux Mint 18.3 Sylvia システムで作業しています。gfortranを採用したmpifortranを使用しています。
コードは N のすべての値と N=50000 まで試したプロセス構成で完全に機能し、エラーがないことを示す INFO=0 コードで終了するため、Fortran コード自体に問題はないと確信しています。発生した。(また、解行列 x* の残差を明示的にチェックするプログラムのわずかに変更されたバージョンを実行しました。つまり、Ax* - b を計算し、ゼロに近い最大絶対値を正確に見つけました)。行列が特異であることに何らかの問題があった場合は、もちろん代わりにゼロ以外の INFO コードで PDGESV ルーチンからの終了を観察します。
マシンのメモリも十分にあるようです。問題のケース N=94423 では、利用可能な 148 GB のメモリに対して 65 GB のメモリしか必要とせず、割り当て時に問題はありません (さらに、同じ問題を解決し、65 GB のメモリを使用するシリアル コードはエラーなしで実行されます)。
代わりに、mpi の単一プロセスで使用できるメモリのデフォルト制限を超える可能性があるという問題があると思いますか? つまり、コンパイル/実行時に適切な FLAGS が欠落している可能性がありますか?
「ulimit -s unlimited」コマンドを使用してみましたが、問題は解決しませんでした。
以下の Fortran コードをコピーします。これは単純なテスト プログラムで、1) 行列 A とベクトル b にスペースを割り当て、2) それらのエントリをランダムなエントリで埋め、3) PDGESV を呼び出し、4) メモリの割り当てを解除します。
以下に、使用したコンパイル/実行コマンド (mpifortran/ gfortran を使用) を示します。
注: PGI fortran コンパイラも使用してみましたが、同じテスト ケースで同じエラーが発生しました (以下のエラー出力を参照)。
Fortran コード:
PROGRAM SOLVE_LU
USE MPI
IMPLICIT NONE
INTEGER :: N
DOUBLE PRECISION, ALLOCATABLE, DIMENSION(:,:) :: LOCAL_A
DOUBLE PRECISION, ALLOCATABLE, DIMENSION(:) :: LOCAL_B
INTEGER :: ISTATUS
C FOR LAPACK PDGESV CALL
INTEGER :: INFO, NRHS, IA, JA, IB, JB
INTEGER, ALLOCATABLE, DIMENSION (:) :: IPIV
c FOR READING COMMAND LINE ARGUMENTS
INTEGER :: IARGC, N_COMMAND_ARG
CHARACTER :: ARGV*10
C WE USE FOLLOWING COMMAND LINE ARGUMENTS
C ARG 1 : N (DIMENSION OF PROBLEM)
C ARG 2 : NPROW (NO. OF ROWS OF PROCESSES IN A RECTANGULAR ARRAY)
C ARG 3 : NPCOL (NO. OF COLUMNS OF PROCESSES IN A RECTANGULAR ARRAY)
C ARG 4 : BLACS BLOCK SIZE MB (BLOCKS ARE OF SIZE MB * MB)
C
c FOR PARALLEL PROCESS ARRAY
INTEGER :: NPROW, NPCOL, ICTXT,MYROW, MYCOL, MB, NB, MLOC, NLOC
INTEGER :: IDESCA(9), IDESCB(9)
INTEGER :: IERR
INTEGER :: NUMROC
c for random number seed
INTEGER :: ISEEDSIZE
INTEGER, ALLOCATABLE, DIMENSION ( :) :: SEED
C ----------------------------------------
C ------- EXECUTABLE STATEMENTS -------
C ===============================================
C READ IN COMMAND LINE ARGUMENTS IF PRESENT
N_COMMAND_ARG = iargc()
IF (N_COMMAND_ARG == 2) THEN
WRITE(*,*) 'ILLEGAL NO. OF COMMAND LINE PARAMETERS'
STOP
ENDIF
IF (N_COMMAND_ARG .GE. 1)THEN
CALL GETARG(1,argv)
C WRITE(*,*)'ARGV = ',ARGV
READ (ARGV,'(I10)') N
ELSE
N = 100
ENDIF
IF (N_COMMAND_ARG .GE. 3)THEN
CALL GETARG(2,argv)
READ (ARGV,'(I10)') NPROW
CALL GETARG(3,argv)
READ (ARGV,'(I10)') NPCOL
ELSE
NPROW = 2
NPCOL = 2
ENDIF
IF (N_COMMAND_ARG .GE. 4)THEN
CALL GETARG(4,argv)
READ (ARGV,'(I10)') MB
ELSE
MB = 8
ENDIF
NB = MB
C ==============================================
C INITIALISE THE BLACS PROCESS GRID, FIND DIMENSIONS OF LOCAL
C MATRICES / VECTORS AND ALLOCATE SPACE
CALL SL_INIT(ICTXT, NPROW, NPCOL)
CALL BLACS_GRIDINFO( ICTXT, NPROW, NPCOL, MYROW, MYCOL )
MLOC = NUMROC(N, MB, MYROW, 0, NPROW)
NLOC = NUMROC(N, NB, MYCOL, 0, NPCOL)
IF( MYROW.EQ.0 .AND. MYCOL.EQ.0 )WRITE(*,*)
@ 'WE ARE SOLVING A SYSTEM OF ', N, ' LINEAR EQUATIONS'
WRITE(*,*) 'PROC: ',MYROW, MYCOL,'HAS MLOC, NLOC =', MLOC,NLOC
c ==============================================
C ALLOCATE SPACE FOR MATRIX A AND VECTORS B AND X
WRITE(*,*) 'PROC: ',MYROW, MYCOL,' ALLOCATING SPACE ...'
ALLOCATE ( LOCAL_A(MLOC,NLOC), STAT = ISTATUS )
IF(ISTATUS .NE. 0) THEN
WRITE(*,*)'UNABLE TO ALLOCATE LOCAL_A, PROCESS: ',MYROW,MYCOL
STOP
ENDIF
ALLOCATE ( LOCAL_B(MLOC), STAT = ISTATUS )
IF (ISTATUS /= 0) THEN
WRITE(*,*)
@ ' FAILED TO ALLOCATE SPACE FOR LOCAL_B, PROCESS: ',MYROW,MYCOL
STOP
ENDIF
c BLACS DESCRIPTOR FOR A AND ITS COPY
CALL DESCINIT (IDESCA, N, N, MB, NB, 0, 0,
@ ICTXT, MLOC, IERR)
c BLACS DESCRIPTOR FOR B AND SOLN VECTOR X
CALL DESCINIT (IDESCB, N, 1, MB, 1, 0, 0, ICTXT, MLOC, IERR)
c ==============================================
C FILL ENTRIES OF MATRIX A AND R.H.S. VECTOR B WITH RANDOM ENTRIES
WRITE(*,*)'PROC: ',MYROW, MYCOL,
@ ' CONSTRUCTING MATRIX A AND RHS VECTOR B ...'
CALL RANDOM_SEED
CALL RANDOM_SEED ( SIZE = ISEEDSIZE ) ! GET SIZE OF SEED ARRAY
ALLOCATE ( SEED(1:ISEEDSIZE) )
CALL RANDOM_SEED ( GET = SEED )
SEED(1) = SEED(1) + NPCOL*MYROW + MYCOL ! ENSURES DIFFERENT SEED
! FOR EACH PROCESS
CALL RANDOM_SEED ( PUT = SEED )
CALL RANDOM_NUMBER(LOCAL_B)
CALL RANDOM_NUMBER(LOCAL_A)
c ==============================================
C CALL LAPACK LU SOLVER ROUTINE
WRITE(*,*)'PROC: ',MYROW, MYCOL,
@ 'NOW SOLVING SYSTEM AX = B USING SCALAPACK PDGESV ..'
ALLOCATE ( IPIV(MLOC + MB), STAT=ISTATUS )
IF(ISTATUS /= 0) THEN
WRITE(*,*)'UNABLE TO ALLOCATE IPIV, PROCESS: ',MYROW,MYCOL
STOP
ENDIF
IA = 1
JA = 1
IB = 1
JB = 1
NRHS = 1
INFO = 0
CALL PDGESV(N, NRHS, LOCAL_A, IA, JA, IDESCA, IPIV,
@ LOCAL_B, IB, JB, IDESCB, INFO )
IF( MYROW.EQ.0 .AND. MYCOL.EQ.0 ) THEN
WRITE(*,*)
WRITE(*,*) 'INFO code returned by PDGESV = ', INFO
WRITE(*,*)
END IF
c ==============================================
C DEALLOCATE MEMORY
DEALLOCATE(LOCAL_A, STAT=ISTATUS)
IF(ISTATUS /= 0) THEN
WRITE(*,*)'UNABLE TO DEALLOCATE '
STOP
ENDIF
DEALLOCATE(LOCAL_B, STAT=ISTATUS)
IF(ISTATUS /= 0) THEN
WRITE(*,*)'UNABLE TO DEALLOCATE '
STOP
ENDIF
DEALLOCATE(IPIV, STAT=ISTATUS)
IF(ISTATUS /= 0) THEN
WRITE(*,*)'UNABLE TO DEALLOCATE '
STOP
ENDIF
c ===================================================
c RELEASE BLACS CONTEXT
CALL BLACS_GRIDEXIT(ictxt)
CALL BLACS_EXIT(0)
END PROGRAM SOLVE_LU
上記のコードを mpifort -Wall -mcmodel=medium -static-libgfortran -m64 /opt/openblas/lib/libopenblas.a /usr/local/lib/libscalapack.a /opt/openblas/lib/libopenblas.a でコンパイルします。 -lm -lpthread -lgfortran -lm -lpthread -lgfortran -o para.exe solve_by_lu_parallellmpi_simple_light.for /opt/openblas/lib/libopenblas.a /usr/local/lib/libscalapack.a /opt/openblas/lib/libopenblas.a -lm -lpthread -lgfortran -lm -lpthread -lgfortran
これはエラーや警告を生成せず、次のように実行します (例):
mpirun -n 4 ./para.exe 944 2 2 32 > DUMP05
ここでは、ブロック サイズ 32 の 2x2 BLACS プロセス アレイを使用して、944 eqns のシステムを解きます。
この小さな N ケースでは、(実行が成功した) 出力が得られます。
944 の線形方程式系を解いています
PROC: 0 0 には MLOC があり、NLOC = 480 480
PROC: 0 0 スペースを割り当てています ...
PROC: 1 0 HAS MLOC、NLOC = 464 480
PROC: 1 0 スペースを割り当てています ...
PROC: 0 0 行列 A と RHS ベクトル B を構築中 ...
PROC: 1 0 行列 A と RHS ベクトル B を構築中 ...
PROC: 1 1 には MLOC があり、NLOC = 464 464
PROC: 1 1 スペースを割り当てています ...
PROC: 1 1 行列 A と RHS ベクトル B を構築中 ...
PROC: 0 1 には MLOC があり、NLOC = 480 464
PROC: 0 1 スペースを割り当てています ...
PROC: 0 1 行列 A と RHS ベクトル B を構築中 ...
PROC: 0 0 NOW SCALAPACK PDGESV を使用してシステム AX = B を解決
.. PROC: 1 0 NOW SCALAPACK PDGESV を使用してシステム AX = B を解く
.. PROC: 1 1 現在、SCALAPACK PDGESV を使用してシステム AX = B を解いています
.. PROC: 0 1 現在、SCALAPACK PDGESV を使用してシステム AX = B を解いています
..
PDGESV = 0 によって返される INFO コード
ここまでは順調ですね。ただし、代わりに次のように実行します。
mpirun -n 4 ./para.exe 94423 2 2 32 > DUMP06
次のエラーが発生します (このような実行には 65 GB のメモリが必要で、私のマシンでは約 45 分かかることに注意してください)。
プログラムが信号 SIGSEGV を受信しました: セグメンテーション違反 - 無効なメモリ参照。
プログラムが信号 SIGSEGV を受信しました: セグメンテーション違反 - 無効なメモリ参照。
プログラムが信号 SIGSEGV を受信しました: セグメンテーション違反 - 無効なメモリ参照。
プログラムが信号 SIGSEGV を受信しました: セグメンテーション違反 - 無効なメモリ参照。
プログラムが信号 SIGSEGV を受信しました: セグメンテーション違反 - 無効なメモリ参照。
プログラムが信号 SIGSEGV を受信しました: セグメンテーション違反 - 無効なメモリ参照。
プログラムが信号 SIGSEGV を受信しました: セグメンテーション違反 - 無効なメモリ参照。
プログラムが信号 SIGSEGV を受信しました: セグメンテーション違反 - 無効なメモリ参照。
このエラーのバックトレース:
このエラーのバックトレース:
このエラーのバックトレース:
このエラーのバックトレース:
このエラーのバックトレース:
このエラーのバックトレース:
このエラーのバックトレース:
このエラーのバックトレース:
何らかの理由でバックトレース情報が出力されませんが、同じコードを PGI fortran コンパイラ (Red Hat Linux 7.3 を実行している別のマシン上) で実行すると、次の出力で失敗します。
[sca1993:113193] * 受信信号の処理 *
[sca1993:113193] シグナル: セグメンテーション違反 (11)
[sca1993:113193] 信号コード: アドレスがマップされていません (1)
[sca1993:113193] アドレスで失敗: 0x2b8c5a036390
[sca1993:113193] [0] /usr/lib/gcc/x86_64-redhat-linux/4.8.5/../../../../lib64/libpthread.so.0(+0xf5d0)[0x2b900528c5d0 ]
[sca1993:113193] [1] /usr/local/pgi/linux86-64/17.7/lib/libblas.so.0(+0x280c950)[0x2b9003acc950]
[sca1993:113193] [2] /usr/local/pgi/linux86-64/17.7/lib/libblas.so.0(daxpy_k_HASWELL+0x7f)[0x2b9003acc54f]
[sca1993:113193] [3] /usr/local/pgi/linux86-64/17.7/lib/libblas.so.0(dger_k_HASWELL+0xd5)[0x2b9003ad6635]
[sca1993:113193] [4] /usr/local/pgi/linux86-64/17.7/lib/libblas.so.0(dger_+0x21f)[0x2b90013d9f5f]
[sca1993:113193] [5] ./para_try.exe[0x446e70]
[sca1993:113193] [6] ./para_try.exe[0x41b4ad]
[sca1993:113193] [7] ./para_try.exe[0x4071e1]
[sca1993:113193] [8] ./para_try.exe[0x406b39]
[sca1993:113193] [9] ./para_try.exe[0x404ba6]
[sca1993:113193] [10] ./para_try.exe[0x403654]
[sca1993:113193] [11] /usr/lib/gcc/x86_64-redhat-linux/4.8.5/../../../../lib64/libc.so.6(__libc_start_main+0xf5)[ 0x2b9005cb83d5]
[sca1993:113193] [12] ./para_try.exe[0x403549]
[sca1993:113193] * エラーメッセージの終わり *
誰か提案があれば、私はとても感謝しています。どうもありがとう、ダン。