検索した後、stackoverflowで解決策を見つけました:
これを参考に HSSFCellStyle の前景色を設定すると必ず黒く出てくる
csFirstRow.setFillForegroundColor(HSSFColor.GREY_25_PERCENT.index);
csFirstRow.setFillPattern(CellStyle.SOLID_FOREGROUND);
しかし、効果はないようです。
Google / Poi Docs desnt help を読んで検索します。
Apache Poiを使用してセルに色を付ける方法は?