José Silva 1914. augusztus 11-én született a Texas állambeli Leradoban. Négy éves korában vesztette el édesapját, édesanyja újra férjhez ment. Ekkor költözött José testvéreivel együtt a nagyanyjukhoz, ahol 2 év múlva ő lett a család eltartója; újságot árult, cipőket…