Pierwsza potwierdzona dokumentami wzmianka o zamku wołowskim pochodzi z 1323 roku i wiąże się z Konradem I oleśnickim. Starsza tradycja przypisuje założenie drewnianej warowni Władysławowi Wygnańcowi, ale tak wczesnej fundacji nie potwierdzają zachowane dokumenty.
Bimler rekonstruował murowany obwód zamku jako założenie zbliżone do rombu, z murem grubości około 1,5 metra i wysokości około 8 metrów wraz z przedpiersiem. Od miasta rezydencję oddzielała fosa. Wieża od tej strony miała znaczenie obronne i reprezentacyjne.
W XVI wieku zamek stopniowo nabierał charakteru wygodniejszej rezydencji. Bimler wiąże prace prowadzone w 1568 roku z księciem Jerzym II brzeskim. Powstawały skrzydła mieszkalne, klatka schodowa i krużganki. Zwężanie fosy oraz przekształcanie wieży osłabiało dawny charakter warowni.
W 1675 roku, po śmierci Jerzego Wilhelma, ostatniego męskiego Piasta, rozpoczął się habsburski rozdział dziejów zamku. Budowla przetrwała kolejne przebudowy i pożary, w tym pożar z 1922 roku.
Dzisiejsza siedziba władz powiatowych kryje więc historię średniowiecznej warowni, renesansowego dworu i późniejszej administracji.