殊像寺也是五台山五大禅林之一，因寺内供奉着文殊菩萨而得名。它创建于东晋（317-420）初年，唐代（618-907）重建，元代（1325）又予重建，后毁于大火。明代弘治九年（1496）再建，万历年间（1573-1620）又予重修，寺内有重修碑记。
殊像寺为典型汉式寺庙，东西115米，南北约200米，占地面积2.7公顷。采用庭园布局手法，大规模叠砌假山，散植松树，创造了自己的独特风格。
寺内最著名的建筑是大文殊殿，现存殿宇为明弘治二年（1489）由铁林果禅师主持修建的。大殿面宽五间，进深三间，重檐九脊歇山顶，是五台山台怀中心区最大的殿宇。
殿内正中佛台上供奉的文殊骑狻猊塑像，高近十米，是五台山诸寺中最高大的一尊文殊塑像。康熙二十八年（1689），清圣祖为殊像寺的文殊骑狻猊像题匾：“瑞相天然”。於是，殊像寺一跃而成五台山的五大禅处之一和青庙的十大寺之一。
在内蒙、青海、西藏少数民族中，很多人都知道的五台山“荞面头文殊菩萨”，指的就是殊像寺的这尊塑像。神话传说是文殊菩萨显了真容，才把这神像塑成。
传说塑造此像时，文殊菩萨於天空显真容，匠人急中生智，拿出他厨房和好的乔面照形捏制，刚捏好，文殊的真容便隐去，匠人接着用泥仿塑，却总是不很理想，便干脆把乔面头安在塑像上，并贴上一层金，於是这一塑像就有了乔面头文殊菩萨的称谓。
文殊殿内的殿壁上还塑造了五百罗汉渡江的故事。这一彩色悬塑，反映了罗汉在峻岭间的千姿百态，有降龙伏虎、撼山探海、聆听讲经、端坐习定、脚踩水兽、坐船渡海、飞行空中等各种形像。描绘出了罗汉们的苦行，表现了他们的法力神通。
这一巨型彩色悬塑，规模宏大，内容丰富，人物众多，场景多变，给人一种上下几千年，纵横几万里的博大深远之感，是一幅有动有静，色彩绚丽，刻划逼真的彩色悬塑画。
明代天啟六年（1626），在寺后西北角清静处修了一间客堂，后来被清廷三公主看中，把它改名“善静堂”，作为“习静”之处。三公主为清世祖顺治的妹妹、康熙的姑妈。相传清廷为笼络具有势力的汉族大官，便将三公主嫁给吴三桂之子吴应龙。
后来，吴三桂叛清，康熙下令将吴应龙及其子吴世霖绞死，三公主不能另嫁他人，只好来五台山殊像寺。那时，寺内有个因失恋而来这里削发为僧的年经人，他精通内典，常与三公主在“善静堂”研讨经文，引起流言。
在京城的康熙听见了，以为有损皇族声誉，於是派人火烧殊像，试图将三公主与年经和尚烧死。大火烧了三天，全寺片瓦无存，唯独三公主与年经和尚“坐静”的善静室无恙。康熙认为这是文殊菩萨证明脸他两之间没有恋情，於是便下旨拨巨款重建殊像寺。
重建后，有人提议把它改名“清白寺”或“无瑕寺”，以示三公主的清白纯洁。但由於五台山是文殊菩萨的道场，“殊像寺”即意味着寺院有文殊菩萨的真像，所以重建后仍叫殊像寺。
