1973'te Houston'da doğdu. Milton Joseph ve Judy Ann çiftinin çocuğudur. Julie Ann adlı bir kız kardeşi vardır. Çok genç yaşlarda sahnelere çıkmaya başlayan Parsons, gelecek hedefini oyunculuk olarak belirledi. Houston ve San Diego Üniversiteleri'nde eğitim aldı. Garden State gibi çeşitli filmlerde aldığı rollerin ardından 2007 yılında başlayan The Big Bang Theory dizisiyle tüm dünyaca tanınan bir oyuncu oldu. Dizide canlandırıdığı zeki ama aşırı takıntılı ve sorunlu akademisyen Sheldon Cooper karakteriyle televizyon izleyicisinin aklından çıkmayacak bir tipe hayat vermiş oldu.

Bu dönemde sinema çalışmaları da yapan Parsons, Home adlı animasyonda Oh karakterini seslendirdi. Gizli Sayılar (Hidden Figures) filminde ise Paul Stafford rolünde oynadı.

Eşcinsel olan Jim Parsons, 2017 yılında Todd Spiewak'la evlenmiştir.