変更前のアイコンとして、高機能で不ルーのテキストエディタTeraPadのアイコンを使わせていただきました。
実際には、TeraPadのアイコンを変更することはないし、変更しないほうがいいのですが、あくまでも説明としての一例です。
TeraPadはプログラミングや このWebページ作成に使わせていただいております。

ショートカットアイコンは左下に小さな矢印がついている
ショートカットアイコンはファイルそのものではなく、ファイルやフォルダの位置を覚えているアイコンです。
左下に小さな矢印がついています。

アイコンを右クリック
アイコンを右クリックするとコンテキストメニューが出てきます。
プロパティをクリックします。

プロパティの[ショートカット]タブ
○○○○のプロパティのツールウィンドウが開きますので[ショートカット]タブで[アイコンの変更]ボタンを押します。

アイコンの変更ウィンドウ
アイコンの変更ウィンドウです。 ここに表示されているアイコンを選んで変更するわけですが、同じアイコンでは変更になりません。

[参照]ボタンを押します。

変更したいアイコンを選ぶ
あなたが作成したり、収集したアイコンのフォルダに移動します。

ico形式で作成されたアイコンが表示されますので、 目当てのアイコンを選んで[開く]ボタンを押してください。

アイコンを保管するフォルダは名前を変更したり、移動したりしないようキッチリと管理できるフォルダにしてください。Windowsがインストールされているメインのドライブが理想です。

アイコンの変更ウィンドウに戻ってきた
はい、このアイコンが先ほど選んだアイコンです。
[OK]ボタンを押すと・・・・。

アイコンが変わった
・・・・と、このようにアイコンが変更されます。
ショートカットアイコンのしるしである矢印はついたままになります。

アイコンを右クリック
フォルダアイコンを右クリックするとコンテキストメニューが出てきます。
プロパティをクリックします。

プロパティの[カスタマイズ]タブ
○○○○のプロパティのツールウィインドウが開きますので [カスタマイズ]タブで[アイコンの変更]ボタンを押します。

あとは、ショートカットアイコンに変更と要領は同じです。