1925'te New Jersey'de doğdu. Anne ve babası Hollanda kökenliydi. Liseden 17 yaşında ayrılan Van Cleef, Amerikan Donanması'na yazıldı 2. Dünya Savaşı'na katıldı. Gemisiyle birlikte Karayipler'de, Karadeniz'de ve Fransa'da görevlere katıldı. 1946'da ordudan ayrılmasının ardından birçok madalyayla taltif edildi. Terhisinin ardından bir süre çeşitli işlerde çalıştıktan sonra arkadaşlarının yardımıyla oyunculuğa yöneldi. 1952 yılından ölümüne kadar aktif olarak sinemada çalışmıştır. En ünlü filmleri arasında İyi Kötü ve Çirkin ile Birkaç Dolar İçin sayılabilir. Ayrıca James Stewart, John Wayne, Clint Eastwood gibi western'in önemli isimleriyle defalarca birlikte çalışmıştır. 80'li yıllarla birlikte daha çok aksiyon filmlerinde oynamıştır, 1981 yapımı New York'tan Kaçış filminde Kurt Russell ile başrolü paylaşmıştır.

Ömrünün son yıllarında kalp sorunları yaşayan, ayrıca gırtlak kanseriyle mücadele eden Van Cleef, 1989'da Oxnard, California'daki evinde geçirdiği kalp krizi sonucu 64 yaşında hayatını kaybetti. Cenazesi Forest Lawn Memorial Park Mezarlığı'na gömüldü. 3 kez evlenen ünlü oyuncu, ilk evliliğini Patsy Ruth ile 1943-1960 arasında gerçekleştirdi. Boşanmasından hemen sonra Joan Drane ile evlendi ancak 1974'te boşandılar. Son evliliğini 1976'da Barbara Havelone ile yaptı ve ölene dek Havelone ile evli kaldı. Van Cleef'in 3 çocuğu vardı.