紅毛城，己在淡水屹立300年，有著悠久的歷史背景，在建築上也經過多次的修改整建。

紅毛城的主堡為正方形，可能是因地勢高聳的優越條件，在荷蘭時代並沒有作突出的碉堡。而且它把設有樓梯的西南角當作防衛的中心，正對著河口的方向，和稜堡有同樣的功能。

紅毛城最先由荷蘭人建造成軍事要塞，後來又被英國人改建，當作領事館，所以今天看到的紅毛城，便同時兼具了軍事防守、領事辦公和地牢等不同的特色。
超厚的城牆是荷蘭人建造的，內部用磚砌，外層則以大石頭堆疊而成，可以承受當時火砲的攻擊。門窗縫小，數量也減到最少，表現了軍事城堡高度的封閉性。
採用特別的「雙穹」結構，上下兩層桶形拱交錯成十字而結為整體，非常堅固。
2樓高的牆壁，有4個房間，是英國領事和職員的辦公室。裡面有保險庫和文件焚化爐等設備。
在底層和頂褸西南角各有一座小褸梯，可由底層通屋頂，也是唯一可以爬上屋頂的通路。
英國人在南側外加建露台，可以直接由階梯進出2褸，不必經過底層的地牢。露台上也有雉嶸和射口。
當時英國領事有司法權，監管在台灣犯罪的英國人。主堡底層就是監獄，有審問以及關犯人的小地牢和7間管理室。
露台下陳列的古砲，砲管上鑄有「嘉慶十八年奉憲鑄造北路淡水營大炮」等字樣，是1813年清軍遺留下來的。原先是在附近的中國水師砲台中，後來被英國人移過來安置在露台前，以壯聲勢，其實並沒有軍事防禦的功能。在荷蘭時代，紅毛城作為軍事要塞，城中一定有大砲，但是荷蘭入撤離紅毛城時，荷蘭大砲也被拆除移走了。