八角樓樓高兩層，建築全用木榫連結，未用一根鐵釘。雖然時代更迭，人事幾多變化，簷間彩繪已然不復往日鮮豔，但仍可從樑柱、門、楹與窗櫺等細節處，品味當年建造時的巧思細工。
其原為三進規模，第一進為四間店面、第二進為閩南式建築，第三進八角樓，是台灣少見、外型獨特的閣樓式建築，它北側有一間三、四坪大的「茶房」，據說是昔日曾中過秀才的葉瑞西與文人們吟詩、觀海景的地方，後方還有一座大花園。
可惜第一進在日本昭和十年市街改建部份遭拆除，其餘在二次大戰期間被美軍炸毀，第二進則在昭和十七年日本人選定第三進八角樓為建立廣場，紀念伏見宮貞愛親王，而將其拆除，移至現今鹽水的民生路重建而成，第三進雖然在二次大戰期間逃過一劫，但後來由於政府市區重劃把後花園改這成今日的郵局。現僅留最精華的第三進「八角樓」供後人遙思前人風華。
它的特色為八角造型，為雙層木造建築,。全棟是由福州師傅完成，其建材也全都來自大陸福建。整棟建築物是由十二支長約二十四尺的大福杉支撐，由一樓直通二樓，撐出建築也稱出主人的氣勢。它所有樑柱接頭，均採古法接楯，未用一根鐵釘，全部用榫接方式完成。
八角樓的正面，舉目所見皆為木造，素面造型，簡樸渾厚，如施以雕琢，處處表現出作者的匠心獨運，直讓人有種置身木藝殿堂的感受；反觀八角樓後面牆壁，又是另一景象，下半部為大形石條，上半部則為整齊漂亮的幾何圖案紅磚壁。我們再從其外型格局來看,，八角樓承襲唐山的傳統建築，屋頂呈八角形且為歇山式(歇山重簷式)，十三條屋脊。
垂脊頂端有造型可愛的獅子及三角蟾蜍石雕；並以大量的「隔扇門」當壁體。該樓內部的木雕裝飾別具藝術氣息：通透玲瓏的木雕花窗、窗櫺雕刻十分精緻，典雅而富古趣，雕刻的方式為「茄苳入石柳」(先把花木鳥獸刻在茄苳木上再鑲入)，是一大特色。
仙鶴雀替則完全流露出主人與匠師的不凡品味及靈動手藝，更特別的是二樓全為木造，二樓迴廊的木製百葉窗，精巧的區隔內與外，並可由木製縱車突出部分控制其開關，讓人對一百五十年前木工師父的巧思稱讚不已。
另外其迴廊、樓梯、門板、斗拱、鏤空雕花…等，均相當考究精細，雕刻栩栩如生。因此八角樓被譽為臺灣不可多得的巧思建築。