OS X Mavericks で RVM と Homebrew を使用しています。JRuby 1.7.6 はインストールされますが、gem をインストールできません。JRuby には、openssl の半完成バージョンが付属していると思います。私は gem ソースに http を使用してみましたが、ローカル インストール用に gem をダウンロードしました。gem の産地やソースに関係なく、同じエラーが表示されます。
$ jruby -S gem install bundler --trace
ERROR: Loading command: install (LoadError)
load error: openssl -- java.lang.IncompatibleClassChangeError: Implementing class
ERROR: While executing gem ... (NoMethodError)
undefined method `invoke_with_build_args' for nil:NilClass
その他の Ruby (1.8.7、1.9.3、2.0.0) は RVM で問題なく動作しています。