Duvall 1931'de San Diego şehrinde doğdu. Babası William Howard Duvall (1904–1984) bir Amerikan donanması amiraliydi. Annesi Mildred Virginia Duvall (1901–1985) ise amatör bir aktristi. Illinois'daki Principia College'da Drama Bölümü'nden 1953'te mezun oldu. Ardından bir süre için Amerikan Ordusu'na katıldı ve Kore Savaşı'nda yer aldı. 1955'te New York'taki Neighborhood Playhouse Tiyatro Okulu'nda oyunculuk eğitimi aldı. Oyunculuk kariyeri için mücadele ederken Manhattan Postanesi'nde işe girdi, ama bu işinden 6 ay sonra ayrıldı.
Beyazperdede ilk önemli rolü, Bülbülü Öldürmek (To Kill a Mockingbird, 1962) filmindeki Boo Radley rolüydü. True Grit (1969), The Rain People (1969) gibi filmlerin ardından onu büyük kitlelere tanıtan Baba (The Godfather) filmi geldi. Filmde canlandırdığı Corleone ailesinin danışmanı 'Tom Hagen' karakteriyle ilk kez En İyi Yardımcı Erkek Oyuncu kategorisinde Oscar'a aday oldu. Aynı filmin devamı olan Baba 2 (The Godfather Part Two) filminde de yine aynı karakteri canlandırdı. 1976'da Sidney Lumet'in Network filminde Frank Hackett rolünde oynadı. 1979 yapımı bir başka Coppola filmi Apocalypse Now'daki çılgın Albay Kilgore rolüyle unutulmaz bir başka karaktere imza attı. 1983 yapımı Tender Mercies filmindeki rolüyle En İyi Erkek Oyuncu dalında kariyerinin ilk ve tek Oscar ödülünü aldı. Days of Thunder, Deep Impact (1998), Crazy Heart (2009), Jack Reacher (2012) gibi onlarca Hollywood filminde yer aldı. 2014 yapımı The Judge filmindeki Yargıç Joseph Palmer rolüyle bir kez daha En İyi Yardımcı Oyuncu dalında Oscar adayı oldu.
Duvall, hayatı boyunca toplam 4 kez evlendi. İlk evliliğini dansçı Barbara Benjamin ile 1964'te yaptı, 1975'te boşandılar. Gail Youngs (1982-1986) ve Sharon Brophy (1991-1995) ile gerçekleştirdiği kısa süreli 2 evlilikten sonra 2005 yılında Arjantinli aktris Luciana Pedraza ile dünyaevine girdi.
