ViewPager2 (水平方向) を使用しているときにバグが見つかりました。このフラグメントには、GridLayoutManager (垂直方向) を持つ RecyclerView が含まれています。
GridLayoutManager を使用した RecyclerView は、垂直方向にスクロールすると、常に一番上 (最初の項目) にスクロールします。
LinearLayoutManager に変更すると、この問題は存在しません
これは、ネストされたリサイクラー ビューからの onTouch イベントのバブリングと関係があると思われます (AFAIK viewpager2 は RecyclerView を使用します)。
助けが必要
更新:調査を行った後、RecycleView をラップする SwipeRefreshLayout が原因である可能性があります。「NestedScroll Swipe Refresh Layout」のようなものに拡張する必要があるようです。