Na Mercury, Jones conseguiu seu primeiro trabalho como trilha sonora de um filme, The Pawnbroker (1964), de Sidney Lumet. Ele fez trilhas para quase 40 filmes, incluindo In The Heat Of The Night (1967) e Mackenna’s Gold (1969).
As pessoas com quem ele trabalhou povoariam um hall da fama do jazz ou do R&B – Basie, Gillespie, Tommy Dorsey, Dinah Washington, Nat King Cole, Sarah Vaughan, Aretha Franklin. Mas também produziu outros gêneros com, entre outros, Paul Simon, Amy Winehouse, Barbra Streisand e Donna Summer.
Ele fez o arranjo do hit de Sinatra, Fly Me To The Moon, do qual o astronauta Buzz Aldrin tocou uma gravação em fita cassete durante o primeiro pouso na Lua em 1969. Anos depois, Jones disse à revista GQ que Sinatra “me ligou e parecia uma criança: ‘Nós consegui a primeira música na lua, cara!’”
Suas próprias gravações eram igualmente ecléticas, variando do jazz e soul ao africano e brasileiro.
Em 1991, seu disco Back On The Block ganhou o Grammy de álbum do ano e também Grammys nas categorias rap, ritmo e blues, jazz fusion e instrumental.
O trabalho de Jones com Jackson foi histórico, embora a gravadora de Jackson inicialmente pensasse que Jones era jazzístico demais para ser seu produtor.
Eles começaram em 1979 com Off The Wall, depois que Jackson se separou de seus irmãos do Jackson 5 e montou uma mistura de faixas dançantes e baladas. O álbum contou com quatro músicas que se tornaram os 10 maiores sucessos.
A colaboração deles em 1982, Thriller, tornou-se um marco cultural da década de 1980.
Jones e Jackson queriam ampliar a base de fãs de Jackson, então adicionaram elementos de rock, fazendo com que o guitarrista Eddie Van Halen tocasse um solo emocionante em Beat It, que se tornou um dos maiores sucessos de Jackon de todos os tempos.
Complementado por vídeos deslumbrantes com a dança hipnotizante de Jackson no momento em que a MTV estava amadurecendo, Thriller fez do artista uma das maiores estrelas do mundo.