各アイテムの情報は、そのアイテムの名前で指定されたファイルから取得されます。選択したアイテムはリストボックスで適切に削除されますが、次のアイテムのファイルは削除されます。問題がインデックスにあるのか他の部分にあるのかわかりません
SourceDir = "c:\"
For Each itemIndex In listHouse.SelectedIndices()
itemIndex = listHouse.SelectedIndices(0)
listHouse.Items.RemoveAt(itemIndex)
MsgBox(listHouse.Items.Item(itemIndex).Text & "R.txt")
File.Delete(SourceDir & listHouse.Items.Item(itemIndex).Text & "R.txt")
Next