清康熙四十年(西元1701年)，第一代開山祖師釋應祥(俗名李鶴齡)，由福建省泉州府名剎開元寺奉請一尊觀音佛祖聖像，渡海來台，從竹仔港(今高雄縣永安鄉)登陸上岸，隨後寄居於阿公店(今高雄縣岡山鎮)，數月後為了尋找更適合參禪悟道的環境，再奉迎觀音佛祖遍遊南部各大叢林，最後於枕頭山下(今台南縣白河鎮仙草埔)暫且落腳。
時光荏冉，歲月如梭，如此過了數年，由於應祥師通徹孔孟之學及勘輿之術，發現於枕頭山南麓半山腰有一處「半壁吊燈火」之靈穴更適合靈修參禪﹔應祥師遂獨自帶著觀音佛祖上山，披荊斬棘，草建茅堂；就整座碧雲寺範圍內有兩處靈穴，現今正殿是處「鳳穴」，後山南北兩側山脈是為鳳翅；「半壁吊燈火」靈穴即今三寶殿前香爐位置，兩穴互為文集；相互共構營造成三百餘年之靈山古剎。
由於碧雲寺財力拮据歷經嘉慶、咸豐及光緒等年間次第興建完成，本寺右側豎立一塊嘉慶十六年(西元1811年)的「玉枕火山碧雲寺募為緣業碑記」，以資佐證，碑記內容大意如下…碧雲寺為嘉邑名勝，觀音大士英靈遠庇早已膾炙人口，然而寺無緣業，僧家難為無米之炊。嘉慶十六年，張士輝等二十善信，計鳩銀三百二十六圓，買糞箕湖山腳墾田，大武壠派社番目荒埔園，永為寺中香煙，以迓神庥。
建物大部份構造仍保存閩南及日式混合風格，其洗石子的大量使用是一大特色，正殿及山門之剪粘、泥塑極具地方色彩,，最引人注目的是山門外的一對笑獅,。民國三十八年，住持霖淨法師、明淨法師率眾增建清虛宮(天公廟)，至四十三年完工；先總統蔣公曾親臨獻香，並蒙賜匾額「凌霄寶殿」，為本寺帶來無限殊榮。
眾信為維護本寺權益，且按照政府法律規定，於民國四十三年成立火山碧雲寺管理委員會，由陳澄沂先生膺選為首屈主任委員於民國五十五年興建地藏王寶殿，由各方檀信佈施捐獻大力支持，於民國五十六年竣工，民國五十九年間，又接著興建古宮殿式三寶殿，民國五十九年八月間宣佈撤銷原有組織，重新改組為財團法人火山碧雲寺董事會，並報請台南縣政府核備。
碧雲寺於民國八十六年(西元1997年)，由內政部評定為三級古蹟。民國八十九年(西元2000年)縣政府研擬修護碧雲寺計畫。碧雲寺之觀音殿、山門、寺埕列為古蹟範圍於民國九十年(西元2001年)五月動工整修，於民國九十四年(西元2005年)一月整修完竣。