Nato in California, figlio di David Hirsch e Margaret Davenport, la madre è un artista di libri pop-up. Dopo il divorzio dei genitori si trasferisce con il padre nel Nuovo Messico e in seguito a Los Angeles, dove studia presso l'Hamilton Academy of Music and The Performing Arts. Inizia la sua carriera con piccole partecipazioni a serie tv come Due gemelle e una tata, Sabrina, Vita da Strega, E.R. e Jarod il camaleonte. Debutta nel cinema nel 2002 in The Dangerous Lives of Altar Boys al fianco di Jodie Foster, nello stesso anno lavora nel film Il club degli imperatori. Nel 2004 ottiene un discreto successo al fianco di Elisha Cuthbert nella commedia La ragazza della porta accanto, in seguito prende parte ai film Lords of Dogtown con Heath Ledger e Alpha Dog in cui interpreta il ruolo di Johnny Truelove, nome di finzione del bandito Jesse James Hollywood alla cui storia è ispirato il film. Nel 2007, per la sua interpretazione del nomade Christopher McCandless in Into the Wild - Nelle terre selvagge, diretto da Sean Penn, ha ricevuto molti riconoscimenti tra cui un National Board of Review Awards 2007. Nel 2008 è uscito nelle sale cinematografiche con il film Speed Racer, adattamento cinematografico, a cura dei fratelli Wachowski, del cartone animato giapponese Superauto Mach 5. Inoltre tornerà a lavorare al fianco di Sean Penn in Milk di Gus Van Sant, storia di Harvey Milk primo consigliere comunale apertamente gay di San Francisco, assassinato nel 1978 da un fanatico omofobo. Nel film Hirsch interpreta l'attivista Cleve Jones.