Stephen Pan ble født i en familie som har vært kjent i Kina for kunstneriske talenter. I en alder av fem ga bestefaren Bo Yin Pan ham sin første leksjon i tegning og maling.
Selv om Pan hadde et intimt forhold til formelle kinesiske kunsttradisjoner, ble han forelsket i renessansen og franske impresjonistiske malerier. Allerede i en alder av tretten år hadde han et solokunstshow, og hadde vunnet førsteplassen ved National Art Excellence Awards i Kina for sine vakre oljemalerier.
Pan begynte å undervise i Shanghai, Kina i en alder av 20. For å fortsette artistkarrieren støttet onkelen immigrasjonen til USA. Stephen Pan ble tilbudt en lærerstilling ved Academy of Art College i San Francisco i 1997.
