Hong Kong, 1962. M. et Mme Chow emménagent dans leur nouvel appartement le même jour que leurs voisins, M. et Mme Chan. Sans comprendre comment cela a commencé, Chow Mo-wan et Chan Li-zhen apprennent que leurs époux respectifs ont une liaison. Cette découverte les choque mais les rapproche. Ils se voient de plus en plus souvent mais le voisinage commence à s'en apercevoir. Il semble n'y avoir aucune possibilité pour eux de vivre une relation amoureuse. Mais la retenue, les réserves émotionnelles de Mme Chan hantent M. Chow, qui sent ses sentiments changer.

Hong Kong, 1966. Dans sa petite chambre d'hôtel, Chow Mo Wan, écrivain en mal d'inspiration, tente de finir un livre de science-fiction situé en 2046. A travers l'écriture, Chow se souvient des femmes qui ont traversé son existence solitaire. Passionnées, cérébrales ou romantiques, elles ont chacune laissé une trace indélébile dans sa mémoire et nourri son imaginaire. L'une d'entre elles revient constamment hanter son souvenir : Su Li Zhen, la seule qu'il ait sans doute aimée. Elle occupait une chambre voisine de la sienne - la 2046...