จากประวัติมีว่า เมื่อ ๕๐๐ ปี หลังจากพระพุทธเจ้าเสด็จดับขันธปรินิพพานแล้ว มีพระอรหันต์จากอินเดียสองรูป ได้จาริกเผยแผ่พระพุทธศาสนามาถึงยังบริเวณนี้ เห็นสถานที่เงียบสงบเหมาะที่จะบำเพ็ญธรรม จึงใช้เป็นที่พำนักอาศัยปฏิบัติวิปัสนา และอบรมสั่งสอนพุทธศาสนิกชนในละแวกนั้น จนมีศรัทธาเลื่อมใสในพระพุทธศาสนายิ่งขึ้น

ในครั้งนั้นพญามิลินทรผู้แตกฉานในหลักธรรม ได้มาสนทนาซักถามปัญหาธรรมกับพระอรหันต์เถระทั้งสองรูป และมีความประสงค์จะทะนุบำรุงพระพุทธศาสนา พระอรหันต์ทั้งสองรูปได้ใช้มือลูบศีรษะ มีเส้นเกศาติดมือมารูปละสิบเส้น แล้วมอบให้พญามิลินทร

พญามิลินทรได้สร้างเจดีย์ขึ้นยี่สิบองค์ แล้วนำเอาเส้นเกศาบรรจุในเจดีย์องค์ละเส้น ต่อมาคนทั้งหลายจึงเรียกวัดนี้ว่า วัดเจดีย์ซาวหลัง

เจดีย์ทั้งยี่สิบหลังนี้ ได้รับการบูรณะปฏิสังขรณ์ในสมัยของเจ้าบุญวาทย์วงษ์มานิต เจ้าผู้ครองนครลำปางเสร็จเรียบร้อย เมื่อปี พ.ศ.๒๔๖๖

ลักษณะการก่อสร้างเป็นศิลปะแบบพม่าผสมศิลปะล้านนา องค์ใหญ่สุดอยู่ตรงกลาง แวดล้อมด้วยเจดีย์อีกสิบเก้าองค์ ด้านหน้าของเจดีย์แต่ละองค์ทำเป็นซุ้ม มีพระพุทธรูปประดิษฐานอยู่ข้างใน