Aimée Ann dite Duffy a grandi à Nefyn sur la presqu'île de Llŷn au pays de Galles. Lors du divorce de ses parents, Duffy (alors âgée de dix ans), sa sœur jumelle Katy, sa sœur aînée Kelly et leur mère s'installent dans le Pembrokeshire. Sa langue maternelle est le gallois.