Le courtier à la bourse Brian McVeigh possède un pied-à-terre dans Greenwich Village qu'il n'occupe que deux jours par semaine pour y faire la fête avec ses collègues de bureau. Le reste du temps, le logement est habité en alternance par deux autres personnes: Sam Lester, un jeune vendeur qui y multiplie les aventures amoureuses aussi passagères que malheureuses, et Ellen Holder, une assistante-dentiste qui utilise l'appartement pour s'adonner à son passe-temps, la peinture. Bien qu'elle ne les ait jamais rencontrés, Ellen se fait une opinion sur ses deux colocataires en observant simplement ce que chacun laisse derrière lui dans l'appartement. Elle en vient ainsi à vouloir vivre une aventure avec Sam, mais se retrouve dans les bras de Brian à la suite d'un malentendu.