John Wakefield, surnommé «Ghost», est le directeur d'un petit orchestre de jazz. Le groupe, sous l'impulsion de son chef, cherche sa formule et surtout la renommée. La rencontre de Jess, une jeune chanteuse, est toutefois pour Ghost le commencement de la déchéance. Ses musiciens l'abandonnent pour voler de leurs propres ailes. À la suite d'une humiliation subie sous les yeux mêmes de Jess, Ghost la quitte. Seul et désemparé, il accepte de devenir le gigolo d'une riche entremetteuse. Dégoûté de lui-même, il retrouve Jess, et avec elle retourne se joindre à ses anciens amis.