私は困惑しています。 all_gather
プリミティブ (例: int
) では機能しますが、単純な STL コンテナーでも失敗します。valgrind は、コンテナーが割り当てられていない/初期化されていないと主張していますが、それは正しくないようです。
要約すれば:
- 私は、openMP でいくつかのマルチスレッドを実行してから、スレッドを再結合します。
- シリアルでは、`boost::mpi::all_gather
all_gather
.std::map
MPI ランクはスレッドではありません。(2 つの MPI ランクがあり、各 MPI ランクには 4 つのスレッドがあります)。 - 次に、さらに (分離された) マルチスレッドを実行するつもりです。
とても簡単に思えます...ここで何が起こっているのでしょうか?
main.cpp
#include <openmpi/mpi.h>
#include <omp.h>
#include <boost/mpi.hpp>
#include "globals.h"
int main(int argc, char* argv[])
{
int provided_MPI;
MPI_Init_thread(&argc, &argv, MPI_THREAD_MULTIPLE, &provided_MPI );
boost::mpi::environment my_boost_mpi_env(argc, argv);
boost::mpi::communicator world_MPI_boost;
world_MPI_boost_ptr = &world_MPI_boost;
// ^^^ global variable of type boost::mpi::communicator *
perform_complete_variable_elimination_schedule();
//...
}
Conn_Comp.cpp
#include <boost/mpi.hpp>
#include <boost/mpi/collectives.hpp>
#include <boost/serialization/serialization.hpp>
#include <boost/serialization/vector.hpp>
#include <boost/serialization/map.hpp>
#include "globals.h"
...
void perform_complete_variable_elimination_schedule()
{
// isolated work in parallel using OpenMP
#pragma omp parallel
{
//work
}
// SERIAL REGION (with respect to threading).
std::map<uint,uint> my_map;
std::vector< std::map<uint,uint> > vec_of_my_maps;
boost::mpi::all_gather< std::map<uint,uint> >
(*world_MPI_boost_ptr,
my_map,
vec_of_my_maps); // <--- line 293 (referenced by valgrind)
// more isolated work in parallel using OpenMP
#pragma omp parallel
{
//work
}
}
valgrind は、 of が無効な読み取りになると不平を言いvector
ますmap
。ただし、これvector
は呼び出しの直前に作成されたall_gather
ものであるため、明らかにスコープ内にあり、並列スレッド領域にはありません。選択された valgrind エラー出力:
==12665== Use of uninitialised value of size 4
==12665== at 0x41C8D7A: boost::archive::detail::basic_iarchive::get_library_version() const (basic_iarchive.cpp:575)
==12665== by 0x41C92C6: boost::archive::detail::basic_iarchive::load_object(void*, boost::archive::detail::basic_iserializer const&) (basic_iarchive.cpp:399)
==12665== by 0x80F5696: void boost::mpi::all_gather<std::map<unsigned int, unsigned int, std::less<unsigned int>, std::allocator<std::pair<unsigned int const, unsigned int> > > >(boost::mpi::communicator const&, std::map<unsigned int, unsigned int, std::less<unsigned int>, std::allocator<std::pair<unsigned int const, unsigned int> > > const&, std::vector<std::map<unsigned int, unsigned int, std::less<unsigned int>, std::allocator<std::pair<unsigned int const, unsigned int> > >, std::allocator<std::map<unsigned int, unsigned int, std::less<unsigned int>, std::allocator<std::pair<unsigned int const, unsigned int> > > > >&) (iserializer.hpp:387)
==12665== by 0x80DEC83: Conn_Comp::perform_complete_variable_elimination_schedule() (Conn_Comp.cpp:**293**)
==12665== by 0x80C840A: main (main.cpp:695)
==12665==
==12665== Invalid read of size 2
==12665== at 0x41C8D7A: boost::archive::detail::basic_iarchive::get_library_version() const (basic_iarchive.cpp:575)
==12665== by 0x41C92C6: boost::archive::detail::basic_iarchive::load_object(void*, boost::archive::detail::basic_iserializer const&) (basic_iarchive.cpp:399)
==12665== by 0x80F5696: void boost::mpi::all_gather<std::map<unsigned int, unsigned int, std::less<unsigned int>, std::allocator<std::pair<unsigned int const, unsigned int> > > >(boost::mpi::communicator const&, std::map<unsigned int, unsigned int, std::less<unsigned int>, std::allocator<std::pair<unsigned int const, unsigned int> > > const&, std::vector<std::map<unsigned int, unsigned int, std::less<unsigned int>, std::allocator<std::pair<unsigned int const, unsigned int> > >, std::allocator<std::map<unsigned int, unsigned int, std::less<unsigned int>, std::allocator<std::pair<unsigned int const, unsigned int> > > > >&) (iserializer.hpp:387)
==12665== by 0x80DEC83: Conn_Comp::perform_complete_variable_elimination_schedule() (main.cpp:**293**)
==12665== by 0x80C840A: main (main.cpp:695)
==12665== Address 0x3580bece is not stack'd, malloc'd or (recently) free'd
==12665==
[drosphila:12665] *** Process received signal ***
[drosphila:12665] Signal: Segmentation fault (11)
[drosphila:12665] Signal code: Address not mapped (1)
[drosphila:12665] Failing at address: 0x3580bece
[drosphila:12665] [ 0] /lib/i686/cmov/libpthread.so.0(+0xe500) [0x44f8500]
[drosphila:12665] [ 1] /usr/lib/libboost_serialization.so.1.42.0(_ZN5boost7archive6detail14basic_iarchive11load_objectEPvRKNS1_17basic_iserializerE+0x1b7) [0x41c92c7]
[drosphila:12665] [ 2] ./detect_NAHR(_ZN5boost3mpi10all_gatherISt3mapIjjSt4lessIjESaISt4pairIKjjEEEEEvRKNS0_12communicatorERKT_RSt6vectorISD_SaISD_EE+0x587) [0x80f5697]
[drosphila:12665] [ 3] ./detect_NAHR(_ZN9Conn_Comp46perform_complete_variable_elimination_scheduleEv+0x534) [0x80dec84]
[drosphila:12665] [ 4] ./detect_NAHR(main+0xf5b) [0x80c840b]
[drosphila:12665] [ 5] /lib/i686/cmov/libc.so.6(__libc_start_main+0xe6) [0x4519ca6]
[drosphila:12665] [ 6] ./detect_NAHR() [0x80c73e1]
[drosphila:12665] *** End of error message ***
ブースト ヘルプ ページの推奨事項に基づいて、MPI_Init_thread を使用します。
uint
上で述べたように、マップの代わりにプリミティブ (つまり のみ) を使用すると、正常にall_gather
動作します。マップが失敗する理由 boost serialize
STLコンテナをシリアル化するためのメソッドがすでにあるので、それは問題ではありません...
すべての値を保持するベクトルは、すべてを保持するのに十分な大きさになるように自動的にサイズ変更されることにも注意してくださいall_gather
(実装を確認しました)。all_gather
とにかく、自分で初期化しても失敗します。
最後に、(適切に割り当てられた)単純な古い配列を使用してもstd::map<uint,uint> *
、同じ問題が発生します。