Točan datun nastanka utvrde nije poznat. Na osnovu pisanih dokumenata iz 1181. godine pretpostavlja se postojao u XII. stoljeću (kao utvrđeni dvor ili tvrđava), a možda i ranije, jer su župani stolovali u takvim utvrdama.

Dio Starog grada, četverouglasta kula najstariji je dio. Temelji su ukopani više od dva metra ispod današnje razine. Ostali dijelovi su tijekom vremena dograđivani, preuređivani ili pregrađivani. Vlasnici Starog grada često su se mijenjali, a u posjed su dolazili kupnjom, poklonom ili pravom naslijeđa. Godine 1181. župan je bio Bela, a iza njega Mutimir.

Godine 1209. Varaždin je proglašen slobodnim kraljevskim gradom. Iz tog vremena spominju se kao najpoznatiji vlasnici grofovi Celjski. Tijekom XV. i početkom XVI. stoljeća vlasnik je Ivaniš Korvin, zatim Juraj Brandenburg, te Ivan Ungnad. Od 1607 vlasnici postaju grofovi Erdödy. Od 1446. godine Varaždin kao naselje sve se više počinje štititi od nasilja i ratnih pohoda, dobiva utvrđenja - zemljane bedeme, grabišta i drvene palisade. U XV. stoljeću grad Varaždin sve se više razvija i u grad dolazi sve više trgovaca i obrtnika.

Pojavom opasnosti od Turaka u XVI. stoljeću Varaždin dobiva novi značaj i postaje glavna tvrđava slavonske granice. Godine 1516. kralj Ludovik II oslobađa Varaždince od daća uz uvjet da novac daju za gradnju utvrđenja. U grad dolaze graditelji koji po planovima utvrđuju tvrđavu koja je proširena novim okruglim kulama. Podižu se nasipi i kopaju grabišta koja se ispunjavaju vodom.

Obrambeni značaj Varaždin prestaje imati krajem XVI. , te u XVII. stoljeću. Stari grad prestaje biti vlasništvom obitelji Erdödy 1925. godine, kada se prostor poćinje preuređivati za Gradski muzej.