Graaf Jan van Blois koopt in 1361 een stuk grond aan de oever van de IJssel en bouwt daarop in drie fasen zijn kasteel. Vrijwel zeker treft een grote stadsbrand in 1438 ook het kasteel. Uiteindelijk wordt het regelmatig verbouwde kasteel grotendeels gesloopt en vervangen door een bolwerk dat naar zijn vorm de naam Punt krijgt. Twee torens en een stuk van de voorgevel van het kasteel doen nog een tijdlang dienst als opslag en verdediging van de stad. Eind zestiende eeuw verrijst op het bolwerk een windmolen. Later komt op de funderingen van het kasteel een getijdemolen te staan, de Grote Volmolen. De laatste nog staande toren van het kasteel wordt begin negentiende eeuw gesloopt.
Stadsbrand van 1361
In het jaar 1361 brandt de dan nog jonge stad Gouda vrijwel volledig af. Voor de stadsheer van Gouda, graaf Jan van Blois, is dit dé gelegenheid om hier voor zichzelf een waardig onderdak te laten bouwen. Hij koopt enkele afgebrande hofsteden aan de oever van de IJssel, op de plaats waar we nu het Houtmansplantsoen en molen ’t Slot vinden, helemaal van de Fluwelensingel tot aan de Haven. Ook koopt hij delen van de tien jaar oude stadsmuur langs de IJssel en de Fluwelensingel, compleet met de hoektoren ofwel de IJsseltoren. Meteen in 1361, bij aanvang van de bouw, neemt Jan van Blois voorlopig zijn intrek in de IJsseltoren.
Bouw
Allereerst laat Jan van Blois een tweede kasteeltoren bouwen, de Haventoren. Deze komt op de plaats waar de stadsmuur en de Haven op elkaar aansluiten. Tegen deze toren verrijst een woonvleugel. Aansluitend begint men met de bouw van de Grote Zaal, naast de IJsseltoren. De stadsmuur wordt voor dit laatste project in de richting van de IJssel verplaatst, wat het kasteelterrein nog groter maakt. Na het graven van een kasteelgracht en de bouw van een voorpoort komt in 1364 een einde aan de eerste bouwfase. De tweede bouwfase begint vier jaar later met de bouw van een tweede toren aan de Haven. Dit is de noordwestelijke hoektoren van wat uiteindelijk een rechthoekige kasteelplattegrond wordt. Met een poortgebouw en enkele onderkomens komt in 1375 een eind aan de tweede campagne. De derde en grootste bouwcampagne begint vijf jaar na afloop van de vorige. Een deel van de nog geen twintig jaar oude Grote Zaal gaat tegen de vlakte. Er verrijst een nieuwe zaal tegen een eveneens te bouwen noordgevel, voorzien van twee grote torens. Het kasteel heeft nu een rechthoekige plattegrond van 30 x 70 meter met zes torens: vier op de hoeken en twee in het midden van de lange zijden. Van een van die laatste torens kennen we geen bouwdatum.
Het uiterlijk
Het kasteel wordt nog regelmatig verbouwd en aangepast aan de behoeften van de bewoners. Details daarover zijn niet bekend. Wel weten we nagenoeg zeker dat het kasteel ook door de stadsbrand van 1438 is getroffen. Bij een opgraving in het Houtmansplantsoen zijn onderdelen van een monumentale haard gevonden. Deze dateren vermoedelijk uit het midden van de vijftiende eeuw en kunnen dus een aanwijzing zijn voor herstel van het kasteel na de brand. Hetzelfde geldt voor de keldergewelven, die nu nog te bezoeken zijn onder de Punt. Ook deze zijn vijftiende-eeuws, net als de kern van de stadsmuur aan de Nieuwe Veerstal, die oorspronkelijk deel uitmaakte van het kasteel. Het kasteel moet in de loop der eeuwen dus behoorlijk van aanzien zijn veranderd. Dat maakt het moeilijk het kasteel te herkennen van de oudste afbeeldingen die we hebben, namelijk het stadsgezicht van Braun en Hogenberg uit 1575. Zeer waarschijnlijk heeft de tekenaar van deze prent gebruik gemaakt van een bestaande tekening van het in 1577 gesloopte kasteel. Alle latere afbeeldingen zijn op deze gravure terug te voeren, maar dan vaak rijkelijk voorzien van allerlei verzonnen extra details.
