Polonya'dan göç etmiş Yahudiler olan Bertha ve Abraham çiftinin çocuğu olarak 1915'te Brooklyn, New York'ta doğdu. Babası şeker dükkanı işletiyordu. Austin'deki Texas Üniversitesi'nde Tarih bölümünden mezun oldu, daha sonra City College of New York'ta yüksek lisans yaptı. Üniversite zamanında oyunlarda yer alarak sanat yaşamına başladı. II. Dünya Savaşı esnasında Amerikan Ordusu'nda görev yaptı, Hawaii, Casablanca ve Fransa'da bulundu. Savaştan sonra ünlü yönetmen Erwin Piscator'dan oyunculuk eğitimi aldı ve ilk kez 1945'te Broadway'de sahneye çıktı. 1951'de The Rose Tattoo oyunundaki başarısıyla Tony Ödülü'nü kazandı.
İlk beyazperde deneyimi 1956 yılında Elia Kazan'ın Baby Doll filmiyle oldu. Bu film ile en iyi çıkış yapan oyuncu dalında BAFTA ödülünü kazandı. Sonraki yıllarda önemli filmlerin kadrosunda bulunmaya başladı. Uygunsuzlar, Muhteşem Yedili, How the West Was Won gibi filmler bunların arasındadır. En büyük çıkışını yaptığı ve kendisini efsaneler arasına sokan performansı 1966'da geldi. Spagetti Western filmlerinin üstadı İtalyan yönetmen Sergio Leone'nin Dolar Üçlemesi'nin son filmi İyi Kötü Çirkin'de (Il buono, il brutto, il cattivo) kurnaz ve üçkağıtçı Tuco Benedicto Pacifico Juan Maria Ramirez, yani Çirkin rolünü canlandıran Eli Wallach, tüm dünyadaki sinemaseverlerin çok büyük sevgisini kazandı. 70'li ve 80'li yıllarda üst düzey filmlerde karakter oyuncusu olarak yer aldı. 1990'da Baba serisinin 3. filminde Don Altobello rolünde izleyicilerle buluştu. 2003'te de İyi Kötü Çirkin filminden rol arkadaşı Clint Eastwood'un yönettiği Gizemli Nehir filminde rol aldı.
Ömrünün son yıllarına dek, bozulan sağlığına rağmen sinemadan kopmadı ve filmlerde küçük de olsa roller almaya devam etti. Son olarak 2010'da Wall Street: Money Never Sleeps filminde oynadı. Aynı yıl Akademi tarafından sinema dünyasına katkılarından ötürü Onursal Oscar Ödülü'ne layık görülen Eli Wallach, 2014'te New York'ta vefat etti. 1948'den ölümüne dek aktris Anne Jackson ile evli kalan Wallach'ın Peter (d. 1951) adlı bir oğlu, Roberta (d. 1955) ve Katherine (d. 1958) adında iki kızı vardı. Roberta da anne ve babası gibi oyuncu olmuştur. 2005 yılında The Good, the Bad and Me: In My Anecdotage adlı bir otobiyografisi yayımlandı.
