18 Eylül 1961'de New Jersey'de doğdu. Anne ve babası birinci kuşak İtalyan göçmenleri oldukları için evde İtalyanca da konuşuluyordu. Lise yıllarında basketbolun yanısıra oyunculuğa da merak sardı ve çeşitli oyunlarda görev aldı.

1990'lı ve 2000'li yıllarda birçok filmde yardımcı roller alsa da kendisine en büyük şöhreti The Sopranos dizisi getirdi. 1999-2007 arasında tam 6 sezon boyunca başında bulunduğu mafya örgütünün işleriyle özel hayatını dengede tutmaya çalışan Tony Soprano adlı mafya babasını canlandırdı. Bu rolüyle 1999 yılında En İyi Erkek Dizi (Dram) Oyuncusu dalında Altın Küre'yi, 2000 yılında AFI Yılın Erkek Oyuncusu ödülünü, 2000, 2001 ve 2003 yıllarında 3 kez En İyi Erkek Oyuncu (Dram) dalında Emmy Ödülü'nü ve başka birçok ödülü evine götürdü.

Gandolfini, televizyonun yanında beyazperdede de önemli işlere imza attı. The Mexican, 8mm, Fallen, A Civil Action, The Mighty, Night falls on Manhattan, Get Shorty, Crimson Tide, True Romance, The Last Castle, The Man Who Wasn't There gibi önemli gişe başarıları olan filmlerde de çeşitli roller aldı. Ayrıca 12 Kızgın Adam filminin 1997 yeniden çevriminde 6 numaralı jüriyi canlandırdı. Son önemli rolü, Oscar ödüllü yönetmen Kathryn Bigelow'un 2012 yapımı Zero Dark Thirty filmindeki CIA direktörü Leon Panetta oldu.

James Gandolfini, 19 Haziran 2013'te, tatilini yapmakta olduğu Roma'da henüz 51 yaşındayken geçirdiği kalp krizi sonucu öldü. Öldüğü sırada Deborah Lin ile evliydi ve bu evlilikten 2012 doğumlu bir kızı vardı. Gandolfini'nin daha önceki evliliğinden de Michael adında bir oğlu bulunmaktaydı. Gandolfini, 27 Haziran'da New York'ta düzenlenen cenaze töreninin ardından toprağa verildi.

Gandolfini'nin memleketi New Jersey, ölümünden 5 ay sonra sonra 1 Aralık tarihini "James Gandolfini Günü" ilan etti.