วัดเขาพลอยแหวน เป็นวัดเก่าแก่ที่มีประวัติศาสตร์ยาวนานกว่า 190 ปี อยู่ใกล้ตัวเมืองจันทบุรี ห่างจากตัวเมืองประมาณ 10 กิโลเมตร เดิมวัดเขาพลอยแหวน เป็นวัดเล็กๆ ตั้งอยู่บนเนินเขาพลอยแหวน บริเวณนี้เดิมเคยเป็นแหล่งขุดพลอยแห่งแรกของ จ.จันทบุรี สร้างขึ้นในปี พ.ศ. 2364 โดยพระยาจันทบุรี ที่ชื่อพระนนทบุรี (สองเมือง) เป็นผู้สร้างขึ้นในช่วงที่ย้ายตัวเมืองมาตั้งที่ค่ายเนินวงได้ราว 2 ปีต่อมาได้มีการสร้าง เจดีย์และมณฑป เพิ่มเติมขึ้นบนบริเวณยอดเขา และกลายเป็นจุดชมวิวที่เห็นทัศนียภาพเมืองจันทบุรี ได้โดยรอบ
นอกจากนี้ ยังเป็นวัดที่พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 4 และพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 เคยเสด็จประพาส และทรงเคยตรัสว่า ภูมิประเทศของวัดเขาพลอยแหวน เหมือนกับเขาสัตตนาถ (เขาวัง) ที่เมืองราชบุรี ปัจจุบันกรมศิลปากรได้ประกาศขึ้นทะเบียนให้เป็นโบราณสถาน เมื่อปี พ.ศ. 2530
บริเวณวัดเขาพลอยแหวน โดยรอบ จะเต็มไปด้วยความเป็นธรรมชาติที่ค่อนข้างสมบูรณ์ มีต้นไม้ครึ้ม ร่มรื่น และยังคงอนุรักษ์ต้นไม้ต่างๆ ไว้ตามธรรมชาติ บริเวณวัดด้านล่าง มีอุโบสถ และเมรุเผาศพสำหรับประกอบพิธีทางศาสนา เลยจากอุโบสถไปหน่อยจะมีซุ้มศาลา และบันไดทางขึ้นเขาพลอยแหวนอีก 600 กว่าขั้น ที่สามารถเดินขึ้นไปยังรัตนคีรีเจดีย์ มณฑปและจุดชมวิว ซึ่งสิ่งที่น่าสนใจ บริเวณวัดเขาพลอยแหวน คือ พระบรมธาตุรัตนคีรีเจดีย์
จากหลักฐานบนศิลาจารึกการสร้างเจดีย์ ได้ระบุไว้ว่า เจดีย์ สร้างโดยพระยาไกรโกษา (หรือ สองเมือง ผู้สร้างวัดเขาพลอยแหวน) สร้างขึ้นเมื่อวันเสาร์ เดือน 11 จุลศักราช 1198 ปีวอก (หรือ พ.ศ. 2379) โดยสร้างแบบก่ออิฐถือปูน เป็นเจดีย์ทรงกลมลังกา เดิมสร้างไว้โดยยังไม่มีชื่ออะไร ต่อมาในสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 4 เคยเสด็จธุดงค์ขณะทรงผนวชเป็นพระภิกษุ จึงทรงโปรดเกล้าฯ ให้พระยาพิชัยธิบดีศรีรณรงค์ฤาชัย (โต บุญนาค) ซึ่งเป็นตำแหน่งของพระยาจันทบุรีในขณะนั้น บรรจุพระบรมธาตุไว้ในเจดีย์ และให้เรียกว่า “รัตนคีรีเจดีย์”
ต่อมา เมื่อปี พ.ศ. 2495 ได้มีการบูรณะปฏิสังขร องค์พระเจดีย์ ทำให้เจดีย์มีขนาดกว้างขึ้น และสูงขึ้นเป็นกว้าง 6 วา สูง 7 วา 3 ศอก สวน มณฑป ได้สร้างขึ้นข้างๆ รัตนเจดีย์ แต่สร้างขึ้นภายหลัง เมื่อปี พ.ศ. 2471 เป็นมณฑปจตุรมุข ภายในประดิษฐานพระพุทธบาทจำลอง เป็นทองเหลือง เพื่อแทนรอยพระพุทธบาทเดิมที่เป็นศิลาทราย สันนิษฐานว่าเป็นศิลาที่ย้ายมาจากเมืองเพนียด หน้าวัดทองทั่ว ปัจจุบันศิลาชิ้นนี้แตกหัก จึงถูกเก็บรักษาไว้ในศาลาข้างรัตนคีรีเจดีย์
สำหรับ วัดเขาพลอยแหวน เป็นวัดที่อยู่บนเขา บางช่วงเวลาอาจมีคนมาเที่ยวชมน้อย หากขึ้นไปเป็นกลุ่มจะดูเหมาะกว่า นอกจากการเที่ยวชมเจดีย์ และมณฑปบนยอดเขาพลอยแหวนแล้ว บนยอดเขายังเป็นจุดชมวิวที่สวยงาม สามารถมองเห็นเมืองจันทบุรีได้รอบ ด้านหนึ่งจะเห็นวิวเขาสระบาป ทิวเขาสอยดาว และเหมืองพลอยบางแห่งที่ยังคงมีอยู่ ส่วนอีกด้านสามารถเห็นถึงทะเล และปากแม่น้ำแหลมสิงห์