1917年8月8日,葛香亭出生于江苏省徐州萧县,就读于萧县师范学院,毕业后在小学任教。教了一学期书后因抗战而投身军职,并加入军中剧团,正式开始其演艺生涯。1940年,葛香亭考进上海著名的“金星影剧训练班”,与欧阳莎菲、谢晋等人结为同学,一年后毕业,留在公司参与《白云塔》、《乱世风光》等片的演出,并兼任公司的化妆师。不久,日本全面侵华,全国各地抗日活动纷起,他即前往北京加入九十二军的义工队,为政府演出鼓舞民心士气的话剧。同时天赐良缘,认识了妻子张琳。
国共内战期间,葛香亭因友人介绍进入装甲兵剧队,之后随装甲兵渡海赴台。移居台湾后不久他转入国防部康乐总队,继续在军中从事话剧表演工作,直到1969年退役。他进入中央电影公司,演出多部知名电影,包括:《养鸭人家》、《还我河山》、《高山青》、《我女若兰》、《葡萄成熟时》等。由于演技老练、精湛,葛香亭凭借《养鸭人家》与《高山青》获得1965年第三届及1970年第八届金马奖最佳男主角奖。1975年,葛香亭加入中国电视公司,一面拍电影、一面演电视剧,另外也接一些话剧。直到现在,葛香亭参演的电影作品至少有176部以上。葛香亭一生从事演艺工作,对其热情从未减退,并于2005年获得第42届台湾金马奖终身成就奖。
2010年5月16日,葛香亭在台湾家中与世长辞,享年94岁。