虎井嶼和桶盤嶼相似，有柱狀節理玄武岩景觀，因為崖下海水清澈，素有「虎井澄淵」之名。

傳說十七世紀荷蘭人曾在島上建蓋城堡，卻因戰火而沉入海底，近幾年來有學者前往勘察也未有重大發現，讓三百年來的「虎井沉城」仍是個不解的謎團，也使得學術界一直存在兩種分歧的意見，一說為：「古沈城為桶盤、虎井特殊柱狀玄武岩岩脈地形，一直延伸入海，形成沈城假象；另一說則認為：歷史文獻記載非空穴來風，不僅於古志書記載，民間對於此處不尋常的景觀，亦有許多傳說，增添了虎井嶼的神秘感。
還有另一傳說在島的東南側曾經有一隻老虎躲在一個乾涸的洞穴裡，因而名為「虎井」。亦有島上出甘泉的井稱「好井」和閩南音「虎井」諧音而得名的說法，以上說法尚無考據定論，僅供參考與發想。