swift - 構造体を持つ UnsafeMutablePointer

Question

UnsafeMutablePointer を使用して Swift の Struct 変数を参照することができません。このプレイグラウンドの例を見てください:

import Cocoa
var set: Set<Int> = []
let pointer = UnsafeMutablePointer<Set<Int>>.allocate(capacity: 1)
pointer.initialize(to: set)
pointer.pointee.insert(1)
Swift.print(set)

[1] を期待していたのに、出力は [] です。私は何が欠けていますか？

ボーナス質問: 使用後にポインターを明示的に初期化解除する必要がありますか?