嘉慶四年（1799年），趙順芳與烏日仕紳楊占鰲（道光十九年舉人），成立西雝社，以提倡文教，並發動社員，捐建文昌祠，乃磺溪書院創建的先聲。根據清朝禮制的規定，縣級以上的城市可以在縣府治所在地建孔廟，供士人崇拜,，而一般鄉鎮只能以次一級的文昌帝君作為崇拜的對象。因此，建於文昌祠原址的磺溪書院,磺溪書院 ，除了當作教化的場所，也繼續作為奉祀五文昌帝君的祭祀空間。
磺溪書院所奉祀的五文昌帝君，在民間有許多種說法。有一說認為是：孔子、倉頡、朱熹、關羽、梓潼文昌，另一說則為：朱衣文昌、梓潼文昌、文曲星君（俗稱文魁）、朱熹、關羽。在建築型制上，磺溪書院是一座七開間、兩進兩護龍帶四垂亭的四合院書院建築。坐北朝南，略偏柗剑?佰魧拸V，形式雄偉。就建築平面來看，磺溪書院是介於民宅與孔廟之間的綜合體；進入第二進講堂後，兩側的山牆上闢有側門，為一般閩南式建築所少見。講堂前端的拜亭（即四垂亭），築於高60公分的臺上，型制近似孔廟的月臺。
就造型而言，磺溪書院的屋頂極為特殊：屋檐線自中間向兩側逐次降低，屋頂共分為五個段落，中央三段為獨立式作法，因此有六個翹脊出現；左右兩端的屋頂以歇山頂的手法表現。此豐富而壯麗的屋頂組合，在臺灣建築史上可說是獨一無二。此外，磺溪書院的磚雕部份，細膩精緻，可能為臺灣清代建築中最為出色者,。表現手法有：以青磚及紅磚交砌出複雜的線角；鏤刻花紋的牆堵、牆基、門窗外框；以磚砌成的花瓶門與劍環門等，皆展現了匠師優異的施工技術。正門前的一對青斗石獅，其雕工亦屬佳作。(資料來源：內政部)