Number Type SPListItem フィールドに値 9234567891234567 を格納しようとしています。Sharepoint Number フィールドの基になる C# 型は Double です。
9234567891234567 を double C# var に割り当てると、9234567891234568 が保持されます。
SPListItem items = list.GetItemById(siteID);
var value = Convert.ToDouble("9234567891234567");
//pb is that value holds 9234567891234568.0
items[fieldName] = value;
items.Update();
//just to check
double ret = (double) items[fieldName];
Console.WriteLine(ret.ToString("F"));
//outputs 9234567891234570.00