Narodil se 2. ledna 1930 ve Velkém Poříčí. Otec se živil jako obchodník s uhlím, vedle toho Brožovi vlastnili i menší hospodářství. Již od pěti let byl Zdeněk členem Sokola. Po ukončení základní školní docházky se jistou dobu živil jako obchodní příručí, v 17 letech pak začal studovat na Obchodní akademii v Náchodě. Odpor ke komunismu získal již v mládí – vycházel zejména ze zkušeností svého otce a jeho přátel, kteří byli v 1. světové válce ruským legionáři. Již v listopadu 1948 proto společně se svým kamarádem Hynkem Prouzou a jistým Bojarem, který se vydával za spolupracovníka britské zpravodajské služby, vylepili v Hronově asi dvacet protikomunistických letáků na telefonní sloupy a nádražní budovu. Zároveň s Prouzou na společně koupené tiskárničce vyhotovil asi třicet letáků s protirežimními texty. Dále uvažovali i o přepadení věznice v Jaroměři – za tímto účelem chtěli získat zbraně závodních milicí textilní továrny v Hynčicích. Státní bezpečnost je ale stihla zatknout dříve, přesně v den, na který přepadení skladu lidových milicí naplánovali. Zdeněk Brož byl nakonec kvůli nízkému věku po třech dnech propuštěn pouze se slovním pokáráním a napomenutím. Na přímluvu ředitele obchodní školy mohl dokončit alespoň dvouletou obchodní školu, poté nastoupil jako úředník v textilní továrně Máj ve Velkém Poříčí. Jeho negativní postoj vůči komunistickému režimu se však nezměnil, a proto začal uvažovat o emigraci (v té době také uprchl jeho bratr do Spolkové republiky Německo). V dubnu 1951 sice nastoupil základní vojenskou službu u PTP v Mostě, ale již v červenci odsud společně s dalšími dvěma vojíny zběhl. Po čtyřech dnech však byli zadrženi východoněmeckou policií u města Auerbach. Přes východoněmecké věznice v Auerbachu a Drážďanech byli eskortováni zpět do Československa. Z vyšetřovací vazby v Litoměřicích putovali do vojenské věznice v Praze na Malostranském náměstí a později do Loun. Dne 19. října 1951 Vyšší vojenský soud v Praze odsoudil Zdeňka Brože za zběhnutí k trestu odnětí svobody ve výši sedmi let. Vězněn byl postupně v Praze, ve vojenské trestnici v Opavě a nakonec v táborech na Horním Slavkovsku a Jáchymovsku. V roce 1952 byl kvůli ohrožení jednotného zemědělského plánu odsouzen i jeho otec na dva měsíce nepodmíněně. Zdeňka Brože nakonec podmínečně propustili v lednu 1954 a již na podzim téhož roku znovu nastoupil dvouletou základní vojenskou službu. Po návratu z vojny musel pracovat jako pomocný dělník, později si udělal rekvalifikaci a živil se jako elektrikář.