Gueye begon in zijn geboorteland bij AS Douanes en werd begin 2005 door Volyn Loetsk naar Oekraïne gehaald. Na anderhalf seizoen werd Gueye door Metalist Charkov gecontracteerd. Voor die club speelde hij tot begin 2015 meer dan 200 wedstrijden. Nadat hij enkele maanden geen salaris meer ontvangen had van Metalist, kon hij begin maart 2015 transfervrij overstappen naar Dnipro Dnipropetrovsk waar hij voor drie jaar tekende.[2] In 2016 speelde hij voor FK Rostov en in 2017 ging hij voor het Kazachse Aqtöbe FK spelen. In oktober 2018 sloot hij aan bij Karpaty Lviv. Eind juli 2019 ging Gueye naar SC Dnipro-1. Hij besloot zijn loopbaan bij Metalist 1925 Charkov waarmee hij in 2021 naar de Premjer Liha promoveerde. Hierna trad hij toe tot de trainingsstaf van de club
Tijdens zijn periode bij Metalist Charkov was hij bezig met een naturalisatietraject om voor het Oekraïens voetbalelftal uit te kunnen komen. In 2009 speelde Gueye in een officieus vriendschappelijk duel met Senegal tegen Iran.[3] In 2012 nam hij echter met Senegal deel aan de Olympische Zomerspelen 2012. Hij kwam ook vijf keer uit voor het Senegalees voetbalelftal.