明朝嘉靖五年春（1526年），由县卫署设置卫学，始称“平虏书院”，讲学的地方叫“明伦堂”，在今凤凰城镇东门内道北。嘉靖三十七年（1558年），移建卫署东侧，有向阳正房三间。崇祯十三年（1640年），平虏卫守备申鼎钦、教授许可贤带头捐资重修，建有正房六间。清朝雍正二年（1724年），平虏卫守备白焕枢、教授张怀琦带头捐资扩修，建有食堂、操场等，但未能完工。雍正三年（1725年），更名为“固山书院”， 因平鲁古八景之一“固山巍焕”而得名。雍正五年（1727年），知县王杜奉府文，修建县学，在教授王旸的协助下，两次重修和扩建，“固山书院”初具规模，绿树成荫，在院学子150余人。清朝光绪十二年（1886年），知县范基钺筹资再次修葺，延续一时。清朝光绪三十一年（1905年），下诏废除科举制度，废书院、兴学堂。实行“中学为体、西学为用”的教育方针。书院学生多数流失，教学处于动荡时期。清朝宣统二年（1910年），清政府颁布《改定初高等小学堂年期科目及课程》，后新建学堂数所，书院学生无几。民国五年（1916年），县政府始建县小学，校址设在今凤凰城镇文庙内。固山书院基本废弃，成为文人雅士散居之所，或研究学问，或把酒论道，一直由民间文士艰难维持。由于地方苦瘠，经费难筹，书院山长没有聘请。书院建筑，因经费不足，修葺未能完固。至今仅存六间屋宇。固山书院为平鲁培养了大批人才，王梦龄就是其中杰出的代表，留学英国8年，娶了英国妻子，1915年学成回国，成为了山西近代工业的奠基人之一。