Taylor Natchezen jaio zen, Mississippin, 1915ean, nahiz eta iturri batzuek 1917 esaten duten. Lehenengo pianoa jo zuen eta gitarra jotzen hasi zen 20 urte zituela. 1942an Chicagora joan zen bizitzera.

Taylorrek polidaktilismo izeneko izaera zuen, eta horregatik sei hatz izan zituen bi eskuetan. Ukipenean ohikoa den bezala, digitu gehigarriak nubina errudimentarioak ziren eta ezin izan ziren mugitu. Gau batean, mozkortuta zegoela, eskuineko eskuko aparteko digitua labana zuzen bat erabiliz moztu zuen.