吳氏開宗于周代。周時人太伯、仲雍兄弟，讓王位于弟季歷，避居荊蠻，紋身斷發號“勾吳”，荊蠻部落護立為王。周武王當朝時，仲雍后裔周章已為吳君，遂封其為吳國君，周章后裔于此以吳為姓。
　　南靖縣金山鎮安后村吳氏祖先吳世崇于明朝正統十二年（1447年）從本縣龍山涌口遷移到金山安后（俗話溪子尾）開基，至今已經562年，傳衍22代。居住在金山鎮安后、金山、荊美、東建、大山、荊都和龍山梧營7個村。
明朝正統十二年三月，吳世崇和他的父親光雀，肩挑行李，從南靖縣龍山鎮涌口村大寨腳遷居到金山鎮安后，在蔡員外家當傭工。
　　世崇父子為人老實忠厚，精通田里農活，起早摸黑干個不停，很受蔡員外器重。幾個月后，吳世崇向蔡員外請求，我因妻子不幸早故，留下3個兒子，現寄養在岳父家中，能不能帶來你家？蔡員外答應了他的請求。幾年后，蔡員外病故。員外夫人分3間房子給世崇父子，讓他們自立門戶。在員外夫人的資助下，世崇續弦，娶坑內羅氏為繼妻，生下一子。
轉眼幾十年過去，世崇已年屆花甲，4個兒子，長、次娶妻生子，另外兩位夭折。為了讓子孫今后更好發展，世崇決定搬出蔡家，　　在小溪岸邊蓋了兩處平房。他率領全家，披荊斬棘，開拓田地。幾年后，開成一片良田，家境逐漸富裕，人口也不斷增加。
　　明朝成化三年（1467年），吳世崇逝世，享年65歲。乾元、乾禮兄弟繼承父志，繼續開拓發展。明朝嘉靖年間，世崇裔孫興建“崇德堂”（又稱溪子大宗），祠堂占地面積264平方米，坐北向南，主堂面闊3間，進深3間，抬梁式構架，懸山頂，梁架彩繪人物花卉。前、后堂8根圓石柱刻有4副對聯。墻基、石門均用規格條石鋪成，大門左右有一對石抱鼓，浮雕鳥獸紋飾。
　　1993年春，旅居臺灣裔孫吳如同先生首先捐款港幣1000元，帶動眾鄉親捐資修繕祖祠，于1995年元月竣工，同年3月28日舉行隆重的慶典活動。
　　1998年，崇德堂被列入南靖縣第四批文物保護單位。
崇德堂吳氏后裔，曾有部分人員遷徙臺灣，族譜記載如下：
　　肖林公后裔，仕讓—有降——金雞之子，伍拾，解放前開往臺灣。
　　性沖公后裔（東建廍子），兄弟文茶、文局，約于清乾隆年間開往臺灣。
　　性沖公后裔，學說房后裔，開往臺灣，曾寄款回鄉修祖祠。
　　下厝恩榮后裔，歪岸之子，山林，解放前開往臺灣。敏德公后裔，懷德（又名芋頭），約于1940——1942年往臺灣，他長子吳國柱（又名恩培），現仍居住臺灣。
　　下厝初升公后裔，吳榕根的嗣子吳民強（又名打鐵仔），解放前往臺灣。
　　上厝肖林公后裔，金山圩吳德天長子吳鎮城，解放前往臺灣。
　　下厝河洋季仍公后裔，金山田中央（原制都打鐵寮）吳水泉之子展森，居臺灣。
　　下厝河洋季仍公后裔吳如同（又名茶爐），約于1941年左右開往臺灣，子女一部分仍在臺灣。
　　上厝肖林公后裔，吳國樑（又名海生），解放前（廈大畢業）重慶特種訓練，畢業后派往臺灣省任崗山中學校長，兼省督學，后晉升文學教授，曾出國往新加坡講學，多年后回臺灣。現子女都居住臺灣。
　　隆顯公后裔，梧營房，12世后裔，世甘之子孫，在臺灣臺北、桃園、臺中等，有70多人次曾回鄉重修世甘墳墓。這支系在臺灣人丁興旺。
　　2008年12月4日，臺灣嘉義縣樸子市市民代表、副主席吳心俊伉儷（妻子翁淑英，嘉義縣樸子市婦女會理事長）首次回到金山鎮安后村尋根謁祖，通過查對族譜，其祖先名瑟，屬于下厝房，元一輩，開往臺灣，至今已300多年。終于找到了自己的祖宗，吳先生夫妻非常高興，在宗祠前與祖地宗親合影留念。他表示，回臺灣后，要向親人們匯報祖地情況，在適當的時候，組團回來南靖懇親祭祖。（南靖縣臺聯　顏美珍）