Compay Segundo naît à Siboney, au bord de la mer, près de Santiago de Cuba où il grandit ensuite. Son père était mécanicien, employé par la compagnie des mines comme conducteur de locomotive.

Il apprend à jouer très jeune du tres et de la guitare avec ses frères. À l'âge de 14 ans, il reçoit des leçons de solfège avant d'être intégré comme clarinettiste dans la fanfare municipale de Santiago de C...