ในอดีตเกาะเต่าใช้เป็นที่คุมขังของนักโทษการเมือง รุ่นกบฏวรเดช หลายคนถูกย้ายจากเกาะตะรุเตามาเกาะเต่า ด้วยเหตุผลว่านี่คือเกาะกลางทะเลอ่าวไทยที่ตั้งโดดเดี่ยว มีน้ำทะเลกว้างไกลเป็นรั้วกั้นกักกันอิสรภาพ
     พ.ศ.2476 ประวัติสาศตร์ของเกาะเต่าถูกบันทึกไว้ว่าเกาะเต่าคือเกาะแห่งความโหดร้ายเพราะใช้เป็นที่คุมขังของนักโทษการเมืองครั้งเมื่อเกิดสงครามแปซิฟิกขึ้น ทางรัฐบาลกลัวว่าอังกฤษจะมาชิงตัวนักโทษการเมืองไปจากเกาะตะรุเตา เพราะที่ตั้งเกาะตะรุเตาอยู่ชายแดนฝั่งมหาสมุทรอินเดียจึงย้ายนักโทษคดีการเมือง จากเกาะตะรุเตามาที่เกาะเต่า นักโทษทุกคนจะถูกตีตรวน ส่งขึ้นโบกี้รถไฟจากสถานีรถไฟกันตังตอนเช้าไปถึงสถานีท่าข้ามจังหวัดสุราษฏร์ธานีในตอนเย็น และจากสถานีท่าข้ามก็ลงเรือไปยังบ้านดอน เพื่อพักแรมที่คุกสุราษฏร์ธานี พักผ่อนกันไม่กี่ชั่วโมงก็ต้องนำตัวไปลงเรือเชวงศักดิ์สงครามผ่านเกาะสมุย เกาะพะงัน มุ่งต่อไปเกาะเต่า
     ช่วงเดือนแรกที่นักโทษการเมืองไปถึง ขาดแคลนแหล่งน้ำมากเพราะถังน้ำใหญ่จุ 3,000 แกลลอนได้พังทลายลง พัศดีเพี้ยน อนุโรจน์ ผู้อำนวยการเกาะปฏิบัติต่อนักโทษดี เพราะถือว่าเป็นนักโทษการเมือง จึงอนุญาตให้ไปตกปลาหาพืชผักมาป็นอาหารได้ แต่กักกันเฉพาะในตอนกลางคืน อีกไม่นานอธิบดีกรมราชทัณฑ์ได้สั่งย้ายโดยเห็นว่าปล่อยปละละเลยนักโทษการเมืองมากไป พัศดีคนใหม่มาแทน นักโทษกลุ่มนี้ถูกคุมขังตลอด ห้ามหาผัก ตกปลา ส่งผลให้นักโทษอดอยากและเป็นไข้ นักโทษการเมืองแทบทุกคนเป็นไข้จับสั่น ยิ่งไปกว่านั้นนักโทษการเมืองยังถูกเกณฑ์ให้ไปทำงานในป่าเยี่ยงกรรมกร โดยแบ่งออกเป็นหมู่ๆละ 5 ถึง 6 คน งานที่ทำคือ ถางป่า โค่นต้นไม้ ทำถนน ฯลฯ
     มีการสันนิษฐานกันว่า อันที่จริงแล้วโทษของนักโทษการเมืองนั้น ทางการตัดสินจำคุกตลอดชีวิต แต่เมื่อได้รับการลดหย่อนผ่อนโทษในวาระพิเศษต่างๆ เหลือโทษอีกเพียงสองปีเศษๆ ซึ่งหากพ้นโทษมีชีวิตรอดกลับไปได้ อาจเป็นเสี้ยนหนามรัฐบาลจึงหาเหตุให้ตายที่เกาะเต่าด้วยการทำงานหนัก ขณะที่เป็นไข้จับสั่น ยามีน้อย อดอยากอาหาร แต่ละคนจบสิ้นชีวิตลงต่อหน้าเพื่อนนักโทษ โชคดีที่ท่านสอ เสถบุตร ท่านใช้วิธีหากเป็นไข้จับสั่นแล้วรีบกินยาคราวละมากๆให้หาย ซึ่งก็คือยาแอตตาบรินและควินิน จนท้ายที่สุดก่อนฤดูมรสุมจะมาถึงในปี พ.ศ.2487 ฝนเริ่มตกหนัก ไข้จับสั่นก็กำเริบหนัก ยาที่มีเล็กน้อยก็เกือบจะไม่มีรักษา เสื้อผ้าขาด ต่างก็พากันจดหมายด่วนฝากถึงญาติพี่น้อง ขอให้ส่งยาควินินน้ำ ยาฉีดควินิน แอตตาบริน รอให้ทันเรือเสบียงเที่ยวสุดท้ายก่อนที่เรือจะหยุดเดินทางในช่วงฤดูมรสุม
     วันหนึ่งมีเครื่องบินมาบินเหนือเกาะ สร้างความสงสัยให้แก่นักโทษ จน 3 สัปดาห์ต่อมาจึงรู้ว่า นักบินผู้นั้นมาบอกให้รู้ว่านักโทษการเมืองได้รับการอภัยโทษ เนื่องจากมีการเปลี่ยนรัฐบาลใหม่ จอมพลแปลก พิบูลสงคราม ลาออกจากตำแหน่งนายกรัฐมนตรีเพราะแพ้คะแนนเสียงในรัฐสภาเรื่องการสร้างเมืองหลวงที่เพชรบูรณ์ นาย ควง อภัยวงศ์ เป็นนายกรัฐมนตรีแทน คณะรัฐมนตรีใหม่ได้มีมติให้กราบบังคมทูลพระราชทานอภัยโทษแก่นักโทษการเมืองในคดีกบฏวรเดช พ.ศ.2476 และคดีกบฏ พ.ศ.2481 ปลดปล่อยนักโทษการเมืองที่จังหวัดสุราษฏร์ธานี เมื่อ 20 ตุลาคม พ.ศ.2487