In seinen frühen Tagen schrieb Kahn fürs Varieté. 1913 begann er eine produktive Partnerschaft mit dem bewährten Komponisten Egbert van Alstyne, mit dem er mehrere beachtliche Hits der Ära schuf wie Memories und, zusammen mit Tony Jackson, Pretty Baby. Später begann er, Liedtexte für den Komponisten und BandleaderIsham Jones zu schreiben. Diese Partnerschaft führte zu einer von Kahns bekanntesten Arbeiten, I'll See You in My Dreams (deutsch: In all meinen Träumen bist Du), gleichzeitig Titel eines von Michael Curtizinszenierten Films über sein Leben mit Danny Thomas und Doris Day in den Hauptrollen. In Woody Allens Film Sweet and Lowdown mit Sean Penn in der Hauptrolle ist es eines der markantesten Lieder.
Kahn heiratete 1915[1] Grace LeBoy und hatte zwei Kinder, Donald und Irene. Irene war später mit Arthur Marx verheiratet.
In den 1920er Jahren arbeitete Kahn zeitweise gleichzeitig für die Broadway-MusicalsHolka Polka (1925), Kitty's Kisses (1926), Artists and Models (1927) Whoopee! (1928) und Show Girl (1929) und für eine Reihe von Filmen, überwiegend bei MGM.
Sein Lebenswerk umfasst einige der bekanntesten Lieder der ersten Hälfte des 20. Jahrhunderts. 1970, fast 30 Jahre nach seinem Tod wurde er in die Songwriters Hall of Fame aufgenommen.
Seine berühmtesten Lieder sind It Had to Be You (1924) mit der Musik von Isham Jones (von Johnny Mercer als ”größter je geschriebener Popsong” bezeichnet und gespielt in über 40 Filmen, darunter Casablanca, Der Stadtneurotiker, Harry und Sally) und Makin' Whoopee! (1928) mit der Musik von Walter Donaldson.
