これがcssです:
ul#menu li a:link,ul#menu li a:visited {color:#333333;text-decoration:none;}
ul#menu li a:hover,ul#manu li a:active {color:#a61607;text-decoration:none;}
ul#menu li img {display: none;}
ul#menu li:hover img {display: inline-block;}
3つのリンクすべてに同じ画像を使用し、使用するテスト画像をグーグルで検索しました。もちろん、好きな画像を使用します。
<ul id="menu">
<li>
<a href="index.aspx">
Home
<img src="http://icons.mysitemyway.com/wp-content/gallery/3d-glossy-green-orbs-icons-symbols-shapes/thumbs/thumbs_104626-3d-glossy-green-orb-icon-symbols-shapes-check-mark5-ps.png" />
</a>
</li>
<li>
<a href="about.aspx">
About
<img src="http://icons.mysitemyway.com/wp-content/gallery/3d-glossy-green-orbs-icons-symbols-shapes/thumbs/thumbs_104626-3d-glossy-green-orb-icon-symbols-shapes-check-mark5-ps.png" />
</a>
</li>
<li>
<a href="sample.aspx">
Sample
<img src="http://icons.mysitemyway.com/wp-content/gallery/3d-glossy-green-orbs-icons-symbols-shapes/thumbs/thumbs_104626-3d-glossy-green-orb-icon-symbols-shapes-check-mark5-ps.png" />
</a>
</li>
</ p>
opのコメントに応答するように編集します
liの代わりにアンカーをロールオーバーしたときにアイコン/画像を表示したい場合。4番目のcss行を次のように変更します。
ul#menu a:hover img {display: inline-block;}
ただし、要素のサイズを変更したり配置したりするために必要な追加のCSSはわかりません。このCSSとHTMLだけをjsfiddleで実行すると、「フラッター」の問題が発生します。アンカーにカーソルを合わせると、画像が表示されますが、他のすべての要素が再配置され、一種のホバー/非ホバーが発生します。リスト/リストアイテム内のアンカーをブロック要素にする次のCSSルールを追加すると、問題はありません。
ul#menu li a {display: block;}
さらに、アンカーまたはli要素の高さ/幅またはパディングを設定して、画像のサイズに合わせて調整することもできます。