Beethovens Erfolg in Wien brachte es mit sich, dass er von Frauen umschwärmt wurde. Er gab auch Unterricht, und viele seiner Schülerinnen waren sehr begabte Pianistinnen. Besonders freundschaftlich wurde er in der Familie Brunswick aufgenommen. Drei Schwestern (Therese, Josephine, Charlotte) und ein Bruder (Franz) waren ohne geregelte Erziehung aufgewachsen auf den ungarischen Gütern der Familie, hatten jedoch viel gelesen, Musikunterricht gehabt und sich auf ihre eigene phantasievolle Weise herangeholt, was sie interessierte. Als sie Beethoven Ende der 1790er-Jahre kennenlernten, waren sie gegenseitig voneinander begeistert. Beethoven blieb zum Unterricht in ihrem Haus in der ersten Zeit nicht nur die vereinbarte Stunde, sondern täglich vier bis fünf Stunden. Therese und Josephine spielten ausgezeichnet Klavier und verliebten sich beide in den interessanten, ungestümen, leidenschaftlichen Mann, und Franz verehrte ihn ungemein. Aus gegenseitigen Briefen der Geschwister und Beethovens an einen Freund ist vieles über diese Zeit in seinem Leben bekannt.

Als die Familie nach 18 Tagen wieder nach Ungarn abreiste, schenkte und widmete er den beiden Schwestern die vierhändigen Variationen über „Ich denke dein“. Beethoven besuchte die Familie in Ungarn auf ihrem Schloss in Martonvásár, und die Freundschaft aller miteinander wuchs.

So lernte er auch ihre Cousine, die sehr junge Gräfin Julie Guicciardi, kennen, eine begabte, reizvolle, erotisch überaus anziehende Frau, und verliebte sich mit all seiner Leidenschaft in sie. Julie war umgeben von Männern, die von ihr begeistert waren, dass dieser berühmte Künstler ebenfalls dazu gehörte, fand sie interessant und angenehm. Mit seinen Gefühlen spielte sie jedoch nur oder konnte und wollte gar nicht darauf eingehen. Sie verliebte sich in einen viel jüngeren Mann, leugnete später, überhaupt etwas von Beethovens Gefühlen und Leiden gewusst zu haben, und schob diese Zeit aus ihrem Gedächtnis. Für Beethoven war es die Hölle, und auch aus diesem Grund schrieb er voller Verzweiflung „Das Heiligenstädter Testament“.

Sicher taten ihm die unverbrüchliche Freundschaft und liebevolle Wärme der Brunswick-Geschwister dennoch gut. Josephine wurde von der Mutter an einen ungeliebten Mann (Joseph Graf Deym) verheiratet und bekam von ihm vier Kinder. Die Freundschaft mit Beethoven und der Unterricht bei ihm wurden trotzdem fortgeführt. Als 1803 Graf Deym unerwartet starb, brauchten sie sich in ihren Gefühlen füreinander nicht länger zurückzuhalten. Die adlige Josephine zögerte jedoch, einen Bürgerlichen zu heiraten. Und Therese schrieb voller Besorgnis an Charlotte: “Aber sage mir, Pepi und Beethoven, was soll daraus werden? Sie soll auf ihrer Hut sein! Ich glaube in Bezug auf sie unterstrichst Du in dem Klavierauszug die gewissen Worte: Ihr Herz muß die Kraft haben nein zu sagen, eine traurige Pflicht, wenn nicht die traurigste von allen.“ In Beethovens zunehmender Taubheit, seinem reizbaren Wesen, andererseits Josephines körperlicher Zerbrechlichkeit sahen sie ebenfalls Hindernisse: Zwei Kranke, was wäre aus ihnen geworden? Zu einer Heirat kam es nicht, aber sie machten weiter zusammen Musik, Beethoven verbrachte mehrmals die Sommerferien in einem Ort in ihrer Nähe. Die Klaviersonate Appassionata entstand in dieser Zeit. Doch im Jahr 1810 heiratete Josephine den estnischen Baron Stackelberg. Damit verloren sie und Beethoven einander aus den Augen, und Josephine geriet in sehr ungute Lebensverhältnisse. In ihren Tagebüchern schrieb Therese Jahre später (1817): “Ob Josephine nicht Strafe leidet wegen Luigi's? Weh! – seine Gattin – was hätte sie nicht aus diesem Heros gemacht!“ und 1847: “Sie waren füreinander geboren und lebten beide noch hätten sie sich vereint“ (alle Zitate nach R. Rolland, a. a. O. S. 251–253).

Nach Josephines Hinwendung zu Stackelberg kamen Therese und Beethoven sich näher als zuvor. Therese begegnete jedoch Pestalozzi in der Schweiz und fand ihre Bestimmung in der Gründung von Kinderheimen und Kindergärten in Ungarn, heiratete nie und ging ganz in dieser sozialen Tätigkeit auf.

Den berühmten Brief Beethovens „An die unsterbliche Geliebte“ schrieb er 1812. Ob Therese oder jemand anderes die Empfängerin war, ist bis heute (Stand 2005) nicht geklärt. Einige vermuten, dass es sich dabei um Antonie Brentano handelt; eine andere Kandidatin ist Gräfin Anne-Marie Erdődy (1779–1837), in deren Haus in Jedlesee Beethoven im Jahre 1815 wohnte.