Erste internationale Erfahrungen sammelte Mohamed Khouaja vermutlich im Jahr 2005, als er bei den Afrikameisterschaften in Radès mit 10,94 s in der ersten Runde im 100-Meter-Lauf ausschied. 2007 schied er bei den Arabischen Meisterschaften in Amman mit 49,08 s im Vorlauf über 400 Meter aus und belegte in 21,60 s den sechsten Platz im 200-Meter-Lauf. Anschließend verpasste er bei den Panarabischen Spielen in Kairo mit 49,14 s den Finaleinzug über 400 Meter. 2009 siegte er in 45,77 s über 400 Meter bei den Mittelmeerspielen in Pescara und belegte mit der libyschen 4-mal-400-Meter-Staffel in 3:10,00 min den siebten Platz. Anschließend schied er bei den Weltmeisterschaften in Berlin mit 46,43 s im Halbfinale über 400 Meter aus, ehe er bei den Arabischen Meisterschaften in Damaskus in 45,35 s die Silbermedaille hinter dem Sudanesen Rabah Yousif gewann und über 200 Meter in 21,12 s den sechsten Platz belegte. Im Jahr darauf siegte er bei den Afrikameisterschaften in Nairobi mit neuem Landesrekord von 44,98 s über 400 Meter und gelangte dann beim IAAF Kontinentalcup in Split mit 45,99 s auf Rang acht und wurde mit der afrikanischen Auswahl über 4-mal 400 Meter in 3:02,62 min Dritter. 2011 kam er bei den Afrikaspielen in Maputo mit 48,66 s nicht über die Vorrunde über 400 Meter hinaus und im Dezember verpasste er bei den Panarabischen Spielen in Doha mit 48,84 s den Finaleinzug. Im Jahr darauf belegte er bei den Afrikameisterschaften in Porto-Novo in 46,82 s den vierten Platz über 400 Meter und kam im Vorlauf über 200 Meter nicht ins Ziel. 2014 gelangte er bei den Afrikameisterschaften in Marrakesch mit 45,40 s auf den fünften Platz über 400 Meter und im Jahr darauf belegte er bei den Arabischen Meisterschaften in Manama in 47,11 s den sechsten Platz. Im August startete er dank einer Wildcard bei den Weltmeisterschaften in Peking und schied dort mit 46,50 s in der ersten Runde aus. Anschließend schied er bei den Afrikaspielen in Brazzaville mit 47,82 s in der Vorrunde aus und beendete daraufhin seine aktive sportliche Karriere im Alter von 28 Jahren.
- 200 Meter: 20,91 s ( 0,7 m/s), 8. Oktober 2009 in Damaskus (libyscher Rekord)
- 400 Meter: 44,98 s, 30. Juli 2010 in Nairobi (libyscher Rekord)