発生している問題は、UltraButton に固有のものだと思います。投稿したばかりの画像の外観からすると、標準の Windows の From ボタンを使用するだけで済む可能性があります。可能であれば、ClassName.Designer.cs を開いて、ボタン テキストが設定されている場所を見つけてください。実際の文字をテキスト文字列にコピーします。
this.YourButton.Text = "▼";
これは、デザイナーとアプリケーションの実行時の両方で正しく表示されます。
標準の Windows フォーム ボタンを本当に使用したくない場合は、いつでもテキストを画像に変換し、その画像をボタンに追加することができます。次のようになります。
string text = "▼";
Font font = new Font("Arial Unicode MS", 12f);
Image img = new Bitmap(1, 1);
Graphics drawing = Graphics.FromImage(img);
SizeF textsize = drawing.MeasureString(text, font);
img.Dispose();
drawing.Dispose();
img = new Bitmap((int) textsize.Width, (int)textsize.Height);
drawing = Graphics.FromImage(img);
drawing.Clear(YourButton.BackColor);
Brush textBrush = new SolidBrush(Color.Black);
drawing.DrawString(text, font, textBrush, 0, 0);
drawing.Save();
textBrush.Dispose();
drawing.Dispose();
YourButton.Text = "";
YourButton.Image = img;