「独自のフォーマットを作成する」という意味がわかりません。
ファイルをアーカイブ/暗号化する方法はたくさんあります。これらの方法を組み合わせることができます。まず書きたいものを暗号化し、次に API を使って書きます。
アーカイブを作成するためのいくつかのリソースを次に示します。
http://weblogs.asp.net/jgalloway/archive/2007/10/25/creating-zip-archives-in-net-without-an-external-library-like-sharpziplib.aspx
暗号化には RSA を使用できます。your_rsa_key を RSA キーに置き換えます。
var provider = new System.Security.Cryptography.RSACryptoServiceProvider();
provider.ImportParameters(your_rsa_key);
var encryptedBytes = provider.Encrypt(
System.Text.Encoding.UTF8.GetBytes("Hello World!"), true);
string decryptedTest = System.Text.Encoding.UTF8.GetString(
provider.Decrypt(encryptedBytes, true));