Le film reproduit la conversation transcrite et publiée par Michèle Manceaux entre elle et Yann Andréa, dans laquelle la relation complexe qu'il entretenait avec l'écrivaine française Marguerite Duras, de 38 ans son aînée, est disséquée. La nouvelle offre de Claire Simon a une valeur cinématographique si limitée qu'elle semble inutile. Elle a une mise en scène austère et si on fermait les yeux pour le voir, l'expérience resterait inchangée. C'est peut-être une propriété négative lorsque l'on considère de visionner le film, mais son contenu discursif est précieux et a de la profondeur. La décision de filmer avec une telle sobriété, avec une mise en scène aussi modeste et désintéressée, pose une manière différente et consciente d'appréhender le dispositif cinématographique et il est important d'appréhender le film de ce point de vue. Plus que soulever des idées, il les expose ; il les revit humainement à travers les voix et les visages de Swann Arlaud et d'Emmanuelle Devos, retrouvant le témoignage nu d'un homme qui a perdu son identité. Et c'est que ça donne la sensation que le film n'aspire à rien de plus que ça, à devenir un médium. Ainsi, la seule et essentielle condition pour résonner dans les propos d'Andréa est d'accepter et d'admettre la façon dont ils sont agencés. Cela nécessite une volonté de se rendre.

Dans "Vous ne désirez que moi", l'amour est un échec de l'imagination. La puissance du platonique se déploie dans le film comme quelque chose d'aussi fascinant que sombre, révélant à son tour une obsession malsaine du langage comme une sorte d'outil de soumission. La séduction existe car le langage de Duras est hypnotique pour Andréa. Il s'abandonne totalement et définitivement à cette admiration, et la brillante compréhension du monde sous les yeux de Duras éclipse Andréa au point d'en faire un projet, prenant le pas sur ses désirs – en particulier sa sexualité – et ses émotions. On voit combien c'est une épreuve de prononcer ces conflits pour un homme qui ne sait plus qui il est ni à quoi il appartient. Sa vie avant Marguerite Duras semble s'être évanouie. Il est également important de souligner la figure de l'intervieweuse, qui visite le récit en jetant du réel dans la fiction dans laquelle elle est plongée, proposant une confrontation constante entre le réel et l'irréel.