A német nyelvterület színművészetének egyik legnagyobb alakja Zürichben született, svájci apa és olasz anya gyermekeként. Az 1960-as évektől neve egyre ismertebbé vált, alakításait a német közönség Göttingenben, Brémában és Zürichben láthatta, majd 1970-ben a berlini Schaubühne társulatának lett tagja. Két évvel később a Salzburgi Ünnepi Játékokon Thomas Bernhard A tudatlan és az őrült, 2000-ben Goethe Faustjának maratoni hosszúságú előadására vállalkozott, 2003-ban a bécsi Burgtheaterben Szophoklész Oidipusz Kolónoszban című darabjában lépett fel. Hangoskönyveket is készített, Goethe, Kleist és Thomas Mann művei szólaltak meg hangján.
Filmes pályafutása az 1970-es években indult. Első jelentősebb sikerét Wim Wenders első angol nyelvű munkájában, Az amerikai barát című thrillerben (1977) érte el, amelyben a másik főszerepet Dennis Hopper alakította. A következő évben a Joseph Mengelét megformáló Gregory Peck és a náci orvos után nyomozó Sir Laurence Olivier partnere volt.
Wenders 1987-es Berlin fölött az ég című alkotásában, amely a múlt századi Európa történelmi szimbólumaként ábrázolta a megosztott várost, egy angyalt alakított, aki az örökkévalóságot hagyja ott az emberi lét végességéért. Játszott az öt évvel későbbi folytatásban is, a Távol és mégis oly közel már lehangoló képet fest a fal leomlása utáni Berlinről.
Ganz eljátszotta a Kenyér és tulipánok főszerepét, majd Sir Peter Ustinov és Alfred Molina partnere volt a Luther Márton életéről forgatott drámában. Talán legemlékezetesebb, de mindenképpen legismertebb alakítását 2004-ben A bukás - Hitler utolsó napjai című, a náci Németország végóráit bemutató, a berlini bunkerben játszódó drámában nyújtotta. A Hitler titkárnője, Traudl Junge visszaemlékezései, valamint Joachim Fest történész munkája alapján készült film Németországban tabukat döntött le.
Számos kitüntetése mellett csillaga díszíti a német hírességek sétányát, 2010-ben megkapta az Európai Filmakadémia életműdíját, valamint Németországban 2014-ben az Arany Kamera-életműdíjat. A világhírű színész 2010 és 2013 között a Német Filmakadémia elnökeként tevékenykedett.
Hetvenhét éves korában Zürichben hunyt el a Berlin fölött az ég felejthetetlen angyalának alakítója. A művész hosszú betegség után, szombatra virradóra hunyt el otthonában, családja körében.