Pioli startte zijn carrière bij Parma FC in zijn geboortestad, in de Serie C. Hij kwam in de jeugd ook al uit voor Parma. In zijn laatste seizoen bij Parma promoveerde hij naar de Serie B. Hij maakte zijn Serie A-debuut voor Juventus FC twee jaar later. In 1987 werd Pioli verkocht aan Hellas Verona. Na twee jaar vertrok hij naar ACF Fiorentina. Met Fiorentina speelde hij in de finale van de UEFA Cup in 1990 tegen zijn oude club Juventus. Juventus won over twee wedstrijden met 3–1. Hij speelde met Fiorentina ook in de Serie B, als gevolg van de degradatie in het seizoen 1992/93. Pioli promoveerde met Fiorentina echter gelijk weer terug. In 1995 verliet hij Fiorentina na 6 jaar en werd gecontracteerd door Calcio Padova. Pioli degradeerde in zijn eerste seizoen bij Padova voor de tweede keer: Padova eindigde laatste. Hij beëindigde zijn carrière in de Serie C bij AC Pistoiese en Fiorenzuola.
Pioli begon zijn trainerscarrière in 1999 bij het tweede elftal van Bologna FC 1909. Hij bekleedde deze functie tussen 2002 en 2003 ook bij Chievo Verona. In 2003 werd hij hoofdcoach van Salernitana Calcio 1919, uitkomend in de Serie B. Na een jaar vertrok hij naar Modena FC, eveneens uitkomend in de Serie B. In 2006 werd Pioli hoofdcoach van zijn jeugdliefde Parma FC. Hij maakte er zijn Serie A-debuut als manager. Hij werd op 12 februari 2007 ontslagen en vervangen door Claudio Ranieri na een met 3–0 verloren duel tegen AS Roma. Parma was afgedaald naar de voorlaatste plaats. Op 11 september 2007 werd hij hoofdcoach van Serie B-club US Grosseto FC. Hij eindigde in zijn eerste seizoen met Grosseto verdienstelijk in de middenmoot. Hierop vertrok hij naar Piacenza Calcio, eveneens in de Serie B. In juli 2009 werd hij hoofdcoach van Sassuolo en via Chievo Verona, waar hij de jeugd trainde, kwam hij bij Palermo terecht. Hij werd na drie maanden echter alweer ontslagen. Op 4 oktober 2011 werd Pioli hoofdcoach van Bologna FC. Hij trainde het tweede elftal van de club al tussen 1999 en 2002. Op 8 januari 2014 werd hij ontslagen, nadat Bologna niet uit de degradatiezorgen kwam. Zijn opvolger, Davide Ballardini, kon degradatie ook niet voorkomen. Tijdens de zomerstop, op 12 juni 2014, werd Pioli hoofdcoach van SS Lazio als vervanger van Edoardo Reja. Hij haalde de Nederlanders Stefan de Vrij en Edson Braafheid naar Rome. Op 3 april 2016, na de 1–4 nederlaag tegen aartsrivaal AS Roma, werd hij ontslagen.[1] Op 8 november 2016 werd Pioli aangesteld als nieuwe hoofdtrainer van Internazionale. Op 9 mei 2017 werd Pioli echter alweer ontslagen bij de club vanwege tegenvallende resultaten.[2] Op 6 juni 2017 werd hij aangesteld als hoofdtrainer van Fiorentina.[3] Hij tekende een contract voor twee seizoenen met een optie op nog een seizoen. Op 9 oktober 2019 werd Pioli aangesteld als nieuwe trainer van AC Milan. Hij tekende een contract voor twee jaar.[4] Op 22 mei 2022 maakte hij Milan voor de 19e keer in de clubhistorie kampioen van Italië. Dit was voor Milan de eerste keer sinds 2011.