張掖大佛寺初建于西晉，原名“迦葉如來寺”。東晉隆安五年（401），沮渠蒙遜建北涼于張掖，迦葉如來寺正居張掖城南景門之內，坐北面南，是北涼國都的中心寺院。約公元411年，印度著名翻譯家曇無讖到北涼弘法，在張掖門徒眾多，影響頗深。公元412年，北涼遷都姑臧（今武威），421年，曇無讖譯成《大般涅槃經(jīng)》40卷，涅槃宗自此形成，曇無讖成為中國涅槃學的宗師，張掖大佛寺也便是中國涅槃宗的重要發(fā)祥地。
 

1962年12月20日，甘肅省人民委員會公布張掖大佛寺為省級文物保護單位，甘肅省文化廳隨后派文物工作者對大佛寺藏經(jīng)進行了清理登記，并采取保護措施。“文化大革命”期間，大佛寺先后經(jīng)歷了學校、公安局、劇團、體育委員會的建設利用。

1970年曾在地下大范圍開挖防空洞，寺院古建筑和文物遭受了極大地破壞，原有建筑僅存大佛殿、藏經(jīng)殿和土塔3座。

1979年9月甘肅省文化廳撥款維修大佛寺，并正式由文化館管理并對外開放參觀。

1985年后，張掖地區(qū)、張掖市政府撥款遷入古建筑7座。

1987年成立張掖市博物館，駐大佛寺辦公。張掖市博物館成立后，負責大佛是寺文物保護管理、古建筑維修、對外開放工作，并籌建了歷史文物、古代書畫、佛經(jīng)等幾個展廳，開展文物收藏、展覽和研究工作，大佛寺的社會、經(jīng)濟效益逐年提高，影響不斷擴大，成為張掖市對外開放的重要窗口之一。20世紀90年代以后，由于國家領導人對大佛寺的文物保護和建設發(fā)展的不斷重視，中央財政共撥款1605萬元，對大佛殿十大弟子進行了扶正，修建文物庫房1座，仿古建筑2 座，并對大佛寺區(qū)域的基礎設施進行了全面改造，大佛寺為之煥然一新。

1996年11月，張掖大佛寺被國務院公布為第四批全國重點文物保護單位。

1999年，大佛寺所在的張掖市博物館被國家公安部、國家文物局公布列為國家一級風險等級博物館。