W 1960 otrzymał licencjat w City College w Nowym Jorku, w 1962 magisterium, a w 1964 doktorat na uniwersytecie też w Nowym Jorku. Przez krótki czas pracował dla Bell Laboratories, a potem jako wykładowca na wydziale inżynierii elektrycznej w MIT. Po opuszczeniu MIT zatrudnił się w firmie Bolt Beranek and Newman, gdzie był odpowiedzialny za projektowanie ARPANET, pierwszej sieci z przełączaniem pakietów.
W 1972 przeniósł się do agencji Light Transmision System, a w październiku tego roku zademonstrował działanie ARPANETu, łącząc 40 maszyn w trakcie International Computer Communication Conference i pierwszy raz pokazując publicznie działanie sieci komputerowej. Po objęciu funkcji dyrektora Information Processing Techniques Office w DARPA, uruchomił kosztujący miliard dolarów rządowy program o nazwie Strategic Computing Program – największe przedsięwzięcie tego typu podjęte przez amerykańską administrację federalną.
Pracując nad tematyką sieciową, wpadł na pomysł, który został potem urzeczywistniony w postaci Transmission Control Protocol (TCP) i miał w zamierzeniu zastąpić wcześniejszy protokół sieciowy Network Control Program (NCP), używany w ARPANET. Odegrał w ten sposób kluczową rolę w utworzeniu otwartej architektury sieciowej, która pozwala komputerom i sieciom z całego świata komunikować się ze sobą, bez względu na używany sprzęt i oprogramowanie.
Wiosną 1973 dołączył do niego Vint Cerf i razem ukończyli wczesną wersję TCP. Potem protokół został podzielony na dwie warstwy, przy czym podstawowe funkcje zostały przeniesione do Internet Protocol (IP). Oba, jako TCP/IP, są podstawą współczesnego Internetu.
Po 13 latach pracy w DARPA Kahn odszedł i w 1986 założył Corporation for National Research Initiatives (CNRI), w której jest obecnie prezesem. Jest to organizacja non-profit wspierająca badania i rozwój w zakresie infrastruktury informacyjnej.