Koller are o statură impresionantă (2,02 m înălțime și 100 kg)[1]. Koller s-a pregătit inițial ca portar, dar a devenit atacant înainte de începutul carierei profesioniste. În 1996, Koller a semnat cu clubul belgian KSC Lokeren. După trei ani de succes, în ultimul sezon la Lokeren fiind chiar golgheter, Koller a fost transferat de grandul BelgieiAnderlecht. În 2000 el a primit Gheata de Aur a Belgiei. Peste un an a fost transferat la echipa germană Borussia Dortmund. Pregătirea sa de portar i-a fost de folos într-un meci din sezonul 2002-2003, când, într-un meci de campionat contra echipei Bayern München, portarul Jens Lehmann a fost eliminat în a doua repriză, iar Koller a trecut în poartă după ce marcase un gol în prima repriză. Nu a primit niciun gol, deși Michael Ballack și alți adversari și-au creat ocazii.[2]
Koller este cel mai prolific atacant al Republicii Cehe, marcând 55 de goluri în 90 de meciuri. Și-a reprezentat țara la UEFA Euro 2000, UEFA Euro 2004, Campionatul Mondial de Fotbal 2006 și UEFA Euro 2008.
Cea mai bună performanță internațională a fost pe durata UEFA Euro 2004 când a ajuns cu naționala în semifinală și a marcat 2 goluri. A jucat în tandem cu atacantul Milan Baros. La Campionatul Mondial de Fotbal 2006, Koller a suferit o accidentare minoră la coapsă pe durata meciului împotriva S.U.A pe data de 12 iunie 2006, nu la mult timp după ce a marcat un gol . Accidentarea lui a fost un dezastru pentru Cehia, care a pierdut următoarele două meciuri.
În a treia lună petrecută la echipa Nürnberg, Koller a anunțat că se va retrage de la naționala Cehiei după Euro 2008.[3] El și-a terminat cariera internațională cu 55 de goluri, marcând un gol crucial în partida decisivă împotriva Turciei. Golul lui nu a fost de ajuns, deoarece naționala sa a primit 3 goluri în ultimele 15 minute, astfel pierzând cu 3-2 și nu a trecut de grupe [4], Koller retrăgându-se repede de la naționala Cehiei.