Lo scozzese aveva saputo del ritorno di Fersen dalla Svezia e dell’incontro con Eleonore, e fu punto da comprensibile gelosia. Scrisse al conte una lettera:

13 agosto 1795.
Impossibilitato a venire di persona, mi risolvo a scriverVi. A causa di talune circostanze fortuite, e di ciò che seguì ad una mia scenata prima della vostra partenza da Bruxelles [dove Fersen aveva vissuto con Crawford, Eleonore e Simolin], devo dedurre senz’ombra di dubbio che voi non eravate correttamente informato della causa del mutamento del mio atteggiamento. Avevo ricevuto lettere anonime, che ho respinto con sdegno – la mia amicizia per Voi era la più sincera, dettata solo dalla benevolenza, e ritenevo naturale che mi fosse ricambiata. Perciò non mi era possibile credere a ciò che quelle lettere affermavano. E invece Voi avevate tradito proprio ciò che un uomo deve ad un altro uomo, un pensiero che nel profondo del mio animo mi rifiutavo di concepire. Fui però colpito dolorosamente quando dovetti costatare che la faccenda era trapelata in società. Quando si è vissuto per 18 anni con la stessa persona, e alla nostra età [Fersen aveva 40 anni e Crawford 52], voi capite bene, è difficile che insorga una forte gelosia, ma una volta che il sospetto ha messo radici non lo si può ignorare, e ne ebbi a soffrire. Avevo desiderato di non essere costretto a chiedervi chiarimenti, tanto più che la vostra partenza per la Svezia lo rendeva superfluo. Tuttavia, perché simili fraintendimenti, per quanto privi di fondamento possano essere, possano insorgere anche qui a Francoforte, ecco che vi scrivo questo biglietto. Il tutto, io spero, dovrà restare fra noi, perché se lo venissero a sapere altri, Voi capite bene che sarebbe non solo cosa sconveniente, ma anche causa di qualche dispiacere.

Il conte Fersen, determinato a rendere Eleonore sua legittima consorte, si meravigliò di quella reazione, che considerava fuori luogo perché così tardiva: frequentava Eleonore ormai da quattro anni. Gli fu comunque impedito di fatto di restare solo con la donna, per tutto il tempo della sua permanenza a Francoforte. Il progetto di matrimonio andò in fumo per una miriade di difficoltà, dalle quali la gelosia di Crawford era esclusa. Alla fine, l’ingombrante presenza di Quella, il rifiuto di Eleonore di andare a vivere in Svezia, alcuni veri o fittizi problemi economici di Fersen e, insomma, un mutamento dei sentimenti reciproci, avrebbe portato all’allontanamento definitivo dei due amanti.