私は openshift を知りませんが、heroku に Atlas / numpy / scipy / scikit-learn をインストールするために行った作業を適応させることができるかもしれません:
https://github.com/dbrgn/heroku-buildpack-python-sklearn
特に、(pip を使用して) ソースから scipy をビルドするには、おそらくデフォルトで OpenShift にインストールされていない fortran コンパイラ (gfortran など) が必要です。
編集: 考えられる代替手段は、 wheel 形式を使用して numpy、scipy、scikit-learn のバイナリ パッケージをビルドし、ビルド済みのパッケージをホストする OpenShift blob ストアに pip install コマンドを指定することです。
wheel パッケージが OpenShift で動作することを確認するには、同じ OS 上でビルドする必要があります (Redhat 6 だと思います)。
編集 #2 : manylinux1
platform タグはこの問題を解決するために設計されており、必要なサードパーティ ライブラリを wheel パッケージ内に埋め込むことができます。x86_64 Linux 用の公式の numpy および scipy wheel ファイルがあるはずです。当面は、 https ://github.com/pypa/manylinux の指示に従って自分でビルドできます。