Sauldsberry giocò prima nella Compton Union High School, dove era la star del suo team, poi passò alla Texas Southern University.
Nel 1957 fu scelto dai Philadelphia Warriors.
Nel 1958 ricevette il NBA Rookie of the Year Award, e fu il secondo afro-americano ad avere l'onore di ritirare questo premio.
Nel 1959 giocò anche un NBA All Star Game. Più tardi nella sua carriera giocò anche nei St. Louis Hawks, Chicago Zephyrs e i Boston Celtics.
Negli anni cinquanta Sauldsberry fece parte del gruppo di cestisti degli Harlem Globetrotters.