Pesci 1943'te Newark, New Jersey'de İtalyan göçmeni bir ailenin çocuğu olarak doğdu. Annesi Mary yarı zamanlı olarak berberlik yapıyordu, babası Angelo ise iş makinesi operatörü ve barmendi. Oyunculukla erken yaşlarda tanışan Pesci, Belleville Lisesi'ni bitirdi. Pesci bir yandan annesi gibi berberlik yaparken, müzikle de ilgilendi, hatta 1968'de Little Joe Sure Can Sing! adlı bir albüm de çıkardı. Albümde dönemin ünlü pop şarkılarını yorumladı. 1970'ler boyunca Frank Vincent ile oluşturduğu komedi ikilisiyle mekanlarda sahne aldı. 1976'da The Death Collector adlı filmde yine Vincent ile birlikte çalıştı.
Büyük şöhretini ise 1980 yapımı Kızgın Boğa (Raging Bull) filmiyle kazandı. Scorsese'nin filminde Jake LaMotta'nın (Robert De Niro) kardeşi Joey rolüyle müthiş bir performans göstererek En İyi Yardımcı Oyuncu dalında Oscar adayı oldu. Bu filmle birlikte sinemadaki yeteneğini kanıtlayan Pesci, daha çok filmde oynamaya başladı. 1984'te efsane İtalyan yönetmen Sergio Leone'nin son çalışması Bir Zamanlar Amerika'da (Once Upon a Time in America) filminde Frankie karakteriyle yer aldı. 1989'da Cehennem Silahı serisine 2. filmde Leo Getz karakteriyle dahil oldu. 1990 yapımı bir başka Scorsese/De Niro ortaklığı Sıkı Dostlar'da (Goodfellas) Tommy DeVito rolüyle En İyi Yardımcı Oyuncu dalında bu kez Oscar'ın sahibi oldu. Aynı yıl Evde Tek Başına filminde filmin baş kötü karakteri Harry Lime rolünde oynadı. 1992'de serinin 2. filminde tekrar Lime karakterini canlandırırken, My Cousin Vinny filminde başrolde oynadı. 1995'te Casino filminde yine bir kötü karaktere, Nicky Santoro'ya hayat verdi.
1998'de Cehennem Silahı 4'te oynadıktan sonra oyunculuktan büyük ölçüde uzaklaştı. 2006'da Kirli Sırlar ve 2010'da Love Ranch filmlerinde oynadıktan sonra 2019'da gösterime giren The Irishman filmiyle yeniden Martin Scorsese ve Robert De Niro'yla bir araya geldi. Filmde Russell Bufalino karakterini canlandırdı.
Toplam 3 kez evlenip boşanan Pesci'nin 3. evliliği 1988-1992 arasında Claudia Haro ile olmuş, bu evlilikten Tiffany adında bir kızı dünyaya gelmiştir.
