カスタムフォーマッタは、セルのデータ（=テキスト）をフォーマットするために使用されます。私の知る限り、彼らは実際のセル（jqueryオブジェクトを意味する）については知りませんが、その値についてのみ知っています。
ただし、通常、jqGridはすべての行にIDを割り当てるため、行IDがわかっている場合は、この行のすべてのtd子要素の背景色を設定するだけで背景色を設定できます。
$(rowid).children("td").css('background-color', "#5E5E5E");