บางตำนานได้กล่าวถึง เมืองลพบุรี ไว้ว่า เมื่อประมาณพันกว่าปีมาแล้ว มี พระยาสามพี่น้อง ได้เป็นใหญ่อยู่ในดินแดนแถบนี้ ต่อมาได้เป็นผู้สร้างเมืองละโว้ขึ้นมา และได้สร้าง พระปรางค์สามยอด เอาไว้ เพื่อเป็นการประกาศตนถึงความเจริญรุ่งเรือง และความยิ่งใหญ่ของพระยาสามพี่น้องแห่งตักศิลา ที่มาตั้งเมืองละโว้เป็นราชธานี ครั้นต่อมา เมื่อขอมมีอำนาจ และได้แผ่อิทธิพลขยายอาณาจักรเข้ามาถึงดินแดนส่วนนี้ จนกระทั่งยึดเมืองละโว้ไว้ได้ ในระยะเวลาหนึ่ง เจ้าพระยาชัยนารายณ์ โอรสแห่ง พระเจ้าจันทโชติ จึงได้รวบรวมกำลังขับไล่ขอมออกไป แล้วเปลี่ยนชื่อเมืองละโว้เป็น ลวะบุรี จนกลายมาเป็นชื่อเมือง ลพบุรี จนถึงทุกวันนี้ ดังปรากฏรูปปั้น พระนารายณ์สี่กร ซึ่งประดิษฐานอยู่ที่ ศาลพระกาฬ เมืองลพบุรี ซึ่งเชื่อกันว่า สร้างขึ้นเพื่อเป็นเกียรติยศแก่พระยาชัยนารายณ์ นั่นเอง วัดปืน เป็นหนึ่งในวัดเก่าแก่ของเมืองลพบุรี แต่ไม่พบประวัติการสร้างที่แน่ชัด เมื่อพิจารณาจากหลักฐานทางโบราณคดี รวมทั้งพระพิมพ์ต่างๆ ที่ขุดพบ ณ บริเวณวัดแห่งนี้แล้ว เชื่อกันว่า วัดปืนคงจะสร้างในราวสมัยอยุธยาตอนต้นเป็นอย่างน้อย หรืออาจจะก่อนหน้านั้นก็ได้ ปัจจุบันสภาพของ วัดปืนเป็นวัดร้าง แทบจะไม่หลงเหลือสิ่งที่บ่งบอกความเป็นวัดเก่าแก่ครั้งในอดีตไว้เลย

