Istana ini pada keseluruhannya diperbuat daripada kayu dan dikenali juga dengan nama Istana Lembah atau kadangkala disebut juga Istana Tepas. Istana ini terletak berhampiran dengan Istana Iskandariah. Istana yang berdinding kelarai berbumbung perabut lima dan perabut pisang sesikat ini telah dirancang pembinaannya selepas banjir besar melanda Perak pada tahun 1926.

Tukang yang membuat istana ialah Haji Suffian dan anak-anaknya yang berasal dari Seberang Perai. Istana ini telah siap sepenuhnya pada tahun 1931. Sultan Iskandar Shah iaitu Sultan Perak ke 30 (1918-1938) telah berpindah bersemayam di istana tersebut kerana Istana Negera, iaitu istana rasmi Sultan Perak di Changkat Negara akan dirobohkan untuk dibina istana yang baru (Istana Iskandariah sekarang).
Dalam tahun 1933, apabila Istana Iskandariah siap dibina,Sultan Iskandar Shah telah berpindah ke istana tersebut. Istana Lembah atau Istana Tepas diduduki pula oleh keluarga Diraja Perak.
Nama Istana Kenangan hanya bermula pada tahun 1960 an, iaitu selepas istana tersebut diperbaiki semula dengan usaha Yang Teramat Mulia Tunku Abdul Abdul Rahman Putra Al-Haj, bekas Perdana Menteri Malaysia.

Pada 16 November 1986, setelah dipelihara, Istana Kenangan dengan rasminya dijadikan Muzium Di Raja Perak hingga ke hari ini.