De Westpoort is gebouwd omstreeks 1401. Het gebouw bestond oorspronkelijk uit 2 torens met daartussen een poort. Aan de zeezijde de Gevangentoren, met een oudere kruittoren aan landzijde. In 1563 breidde de stad zich uit naar het westen. De Westpoort verloor daardoor zijn functie als stadspoort. In 1610 kreeg het gebouw een nieuwe functie als stadsgevangenis.

Militaire bestemming

Onder Frans bestuur in de 18e eeuw krijgt de Gevangentoren een militaire bestemming. Tijdens de beschietingen van de stad door de Engelse vloot in 1809 is de toren beschadigd. Na de Engelse aanval worden op last van Napoleon in en rond Vlissingen grootschalige vestingwerken aangelegd. Daarbij is de Westpoort in 1811 grotendeels afgebroken. Alleen de Gevangentoren bleef staan. De toren is verlaagd en voorzien van een met aarde bedekt koepelgewelf. Daaraan dankt de toren zijn bijnaam de 'Bomvrije'. Aan de landzijde bouwden de Fransen 'de Grote Kazerne' ('Caserne Cavalier'). Na het vertrek van de Fransen in 1815 komt de Gevangentoren in handen van het Nederlandse leger. Die neemt hem tot 1890 in gebruik als militaire gevangenis.

Oudheidskamer

In de jaren '80 van de 19e eeuw krijg de Vlissingse boulevard langzaam vorm. De Gevangentoren wordt als een hinderlijk obstakel ervaren. Mede op voorspraak van de Vlissingse Oudheidskamer, wordt in 1893 besloten de toren niet te slopen, maar te restaureren. Om een vrije doorgang over de boulevard te realiseren is in 1891 een houten brug aan de zeezijde van de toren aangelegd. In 1894 is de Gevangentoren gerestaureerd en ingericht als oudheidskamer. Tijdens de restauratie is onder meer het interieur van de toren vernieuwd. De schietgaten zijn weer opengemaakt en van vensters voorzien. Tijdens de Tweede Wereldoorlog wordt de kazerne in 1944 zwaar beschadigd en na de Tweede Wereldoorlog gesloopt.  

Restauratie

Na de Watersnoodramp in 1953 is in het Deltaplan geregeld, dat alle zeedijken moeten worden versterkt en verhoogd. De plek waar de Gevangentoren staat is een 'zwakke plek'. Rijkswaterstaat (uitvoerder Deltaplan) en de Rijksgebouwendienst (eigenaar van het pand) willen de toren slopen. Het stadsbestuur kiest echter voor behoud van het monumentale pand en doet er alles aan om de plannen te wijzigen. Met succes. In 1958 werd voor de boulevard (die op het oorspronkelijke dijklichaam is aangelegd, met daarvoor een buitendijkse stadsmuur) een dijkverzwaring aangelegd in de vorm van een zware glooiing. Uit de bouwtekening bleek echter dat daardoor het imposante aanzicht van de toren wordt aangetast. Besloten werd om de toren met een verdieping te verhogen en in een later stadium het spitse puntdak opnieuw aan te brengen. Na de laatste restauratie doet de Gevangentoren dienst als restaurant. De houten omloop is getransformeerd tot terras.