Swan est né à Cape Girardeau, Missouri. Enfant, il apprend la batterie, le piano et la guitare, commence à écrire des chansons. Son premier fait marquant est en 1962, lorsque Clyde McPhatter enregistre "Lover please", une chanson écrite par Swan quand il ét...