Narodil se do rodiny řídícího učitele okrouhlické základní školy Jana „Hanuše“ Zrzavého jako šesté dítě. Od roku 1907 studoval na Uměleckoprůmyslové škole v Praze, v roce 1909 byl však vyloučen pro nekázeň a nerespektování školního řádu. Byl zakládajícím členem Spolku výtvarných umělců Mánes, Tvrdošíjných, Umělecké besedy. Ve 20. letech navštěvoval Itálii, Belgii a Francii. Nejvíce ho okouzlila Paříž, asi proto se do ní celý život vracel. I když na něj silně zapůsobila díla impresionistů, začátek jeho tvorby ovlivnil především český secesní symbolismus a expresionismus s prvky kubismu. Po vyloučení z Umprum se neúspěšně pokoušel dostat na Akademii. V roce 1918 uspořádal svou první samostatnou výstavu v Praze. Ve dvacátých letech se věnoval krajinomalbám, pro které hledal inspiraci především v zahraničí, kam v té době často cestoval. V jeho díle se vedle osudovosti objevuje také motiv smrti i naděje a baladičnost.

Na Vysočině je s jeho jménem spjatý také Krucemburk, kde je Zrzavý pochovaný. V infocentru na náměstí Jana Zrzavého v budově čp. 13. naleznete také jeho pamětní síň Jana.