Le Fée speelde in de jeugd van La Vigilante Kéryado en werd in 2008 opgenomen in de opleiding van FC Lorient. Deze doorliep hij en hij tekende in november 2018 zijn eerste professionele contract. Op dat moment was hij actief als speler in het tweede elftal.[1] Zijn debuut volgde op 10 mei 2019, toen hij in het eigen Stade du Moustoir mocht meespelen tegen FC Sochaux (0–0). In de eenenzeventigste minuut mocht Le Fée van coach Mickaël Landreau invallen voor Franklin Wadja.[2]Vanaf de zomer van 2019 kreeg de middenvelder meer speeltijd in het eerste elftal en aan het einde van dat seizoen mocht de club zich kronen tot kampioen van de Ligue 2, waardoor dus promotie naar het hoogste niveau behaald werd. Hierop werd zijn verbintenis opengebroken en verlengd tot medio 2024.[3] In de Ligue 1 behield Le Fée grotendeels zijn basisplaats. Zijn eerste professionele doelpunt maakte hij op 22 augustus 2021, op bezoek bij Montpellier. Hij opende na eenentwintig minuten de score op aangeven van Laurent Abergel. Door treffers van Téji Savanier, Stephy Mavididi en Andy Delort verloor Lorient alsnog met 3–1.[4]
Le Fée gaf in maart 2023 aan de zomer erop te willen vertrekken bij FC Lorient, omdat hij op een hoger niveau wilde uitkomen.[5] In juli maakte hij ook een transfer, toen hij voor circa twintig miljoen euro verkaste naar Stade Rennais, waar hij zijn handtekening zette onder een verbintenis voor de duur van vijf seizoenen.[6] Voor zijn nieuwe club kwam de middenvelder tot vijfendertig officiële wedstrijden, waarvan zes in de UEFA Europa League, waarin hij zijn Europese debuut maakte. Een jaar na zijn komst werd Le Fée weer verkocht; AS Roma betaalde zo'n drieëntwintig miljoen euro voor zijn komst. In de Italiaanse hoofdstad tekende hij een contract tot medio 2029.[7]