Pocházel z rolnické rodiny Jana Zemana a Marie, rozené Tiché. Po vychození obecné školy v Meziříčku vypomáhal v hospodářství svého otce. V roce 1933 se oženil s Marií Rymešovou a začal spravovat darovaný mlýn, na kterém hospodařil až do svého zatčení. V době okupace byl členem odbojového hnutí, v roce 1944 byl zatčen a odsouzen k trestu smrti, který však nebyl vykonán. V roce 1945 vykonával funkci předsedy MNV v Meziříčku. Po odstoupení z této funkce zastával až do února 1948 tamtéž post místopředsedy MNV. Jako přísedící se účastnil soudního líčení s protektorátní vládou. Až do února 1948 byl členem ČSL. Prostřednictví svého bratra Jana Zemana se stal členem ilegální skupiny v Meziříčku. Skupina se několikrát sešla a plánovala zastrašovací akci na funkcionáře KSČ a veřejné činitele z Chlumku na okrese Velké Meziříčí. Pro zvýšení odstrašujícího účinku byla akce připravována jako ozbrojená a pro tento účel měl posloužit i samopal Josefa Zemana. K uskutečnění akce však z důvodů zatčení jednoho z hlavních organizátorů již nedošlo. Josef Zeman byl zatčen 15. května 1949. Vyšetřovací vazbu prodělal v Jihlavě. Hlavní líčení Státního soudu se skupinou „Kožený Jan a spol.“ se konalo ve Velkém Meziříčí ve dnech 29.–30. listopadu 1949. Soudnímu senátu předsedal JUDr. Jaroslav Horňanský. Josef Zeman byl v rámci skupiny „Kožený Jan a spol.“ odsouzen pro zločin velezrady a přečin nedovoleného ozbrojování k 20 letům těžkého žaláře, peněžitému trestu ve výši 60 000 Kčs, konfiskaci veškerého majetku a odnětí občanských práv po dobu pěti let. Podmínečně propuštěn na amnestii prezidenta republiky byl z Valdic u Jičína v květnu 1960. Plně rehabilitován byl Krajským soudem Brno v roce 1990.