Validity of tonality estimation patent; necessity of spectral floor subtraction for inventive step

In der Patentnichtigkeitssache

…

betreffend das europäische Patent 2 162 880

(DE 60 2008 036 032)

hat der 4. Senat (Nichtigkeitssenat) des Bundespatentgerichts auf die mündliche Verhandlung vom 26. Juni 2024 durch den Vorsitzenden Richter Voit, die Richter Dipl.-Ing. Altvater, Dr. von Hartz, Dipl.-Phys. Univ. Dr. Haupt und Dipl.-Ing. Tischler

für Recht erkannt:

I. Die Klagen werden abgewiesen.

II. Die Kosten des Rechtsstreits tragen die Klägerinnen jeweils zur Hälfte.

III. Das Urteil ist gegen Sicherheitsleistung in Höhe von 120 % des jeweils zu vollstreckenden Betrages vorläufig vollstreckbar.

[TATBESTAND]

Die Klägerinnen der zwei verbundenen Verfahren begehren die Nichtigerklärung des auch mit Wirkung für das Hoheitsgebiet der Bundesrepublik Deutschland erteilen europäischen Patents 2 162 880 (Streitpatent). Die Beklagte ist eingetragene Inhaberin des in englischer Sprache erteilten Streitpatents, das am 20. Juni 2008 unter Inanspruchnahme der Priorität der US-Patentanmeldung 929336 vom 22. Juni 2007 als PCT/CA2008/001184 angemeldet worden ist. Die Erteilung des Patents ist am 24. Dezember 2014 veröffentlicht worden. Das Streitpatent ist in Kraft und wird beim Deutschen Patent- und Markenamt unter dem Aktenzeichen DE 60 2008 036 032.6 geführt. Es trägt in der Verfahrenssprache die Bezeichnung „METHOD AND DEVICE FOR ESTIMATING THE TONALITY OF A SOUND SIGNAL“ („VERFAHREN UND EINRICHTUNG ZUR SCHÄTZUNG DER TONALITÄT EINES SCHALLSIGNALS“). Derzeit sind mehrere Verletzungsverfahren der Nichtigkeitsbeklagten aus dem Streitpatent gegen die Klägerinnen und Dritte anhängig.

Das Streitpatent umfasst in der erteilten Fassung 27 Patentansprüche. Patentanspruch 1 lautet in der Verfahrenssprache ausweislich der Streitpatentschrift:

Abbildung in Originalgröße in neuem Fenster öffnen

Der unabhängige Vorrichtungsanspruch 19 lautet in der Verfahrenssprache:

Abbildung in Originalgröße in neuem Fenster öffnen

In deutscher Übersetzung lauten die Patentansprüche 1 und 19 entsprechend der veröffentlichten Streitpatentschrift wie folgt:

Abbildung in Originalgröße in neuem Fenster öffnen

Abbildung in Originalgröße in neuem Fenster öffnen

Die Patentansprüche 2 bis 5 sind unmittelbar oder mittelbar auf Patentanspruch 1 rückbezogen und betreffen ein Verfahren zum Schätzen der Tonalität eines Schallsignals. Der auf ein Verfahren nach einem der Patentansprüche 1 bis 5 rückbezogene nebengeordnete Patentanspruch 6 und die darauf unmittelbar oder mittelbar rückbezogenen Patentansprüche 7 bis 10 betreffen ein Verfahren zum Erkennen von Schallaktivität in einem Schallsignal. Der auf ein Verfahren nach einem der Patentansprüche 1 bis 5 rückbezogene nebengeordnete Patentanspruch 11 bezieht sich auf ein Verfahren zum Einstufen eines Schallsignals mit dem Ziel, die Codierung des Schallsignals mithilfe der Einstufung des Schallsignals zu optimieren. Die abhängigen Patentansprüche 12 und 13 sind hierauf mittelbar oder unmittelbar rückbezogen. Die Patentansprüche 15 bis 18 sind mittelbar oder unmittelbar auf Patentanspruch 14 rückbezogen, welcher ein Verfahren zum Codieren eines höheren Bandes eines Schallsignals anhand einer Einstufung des Schallsignals zum Gegenstand hat und auf ein Verfahren nach einem der Patentansprüche 1 bis 5 rückbezogen ist.

Der Vorrichtungsanspruch 19 betrifft eine Vorrichtung zum Schätzen einer Tonalität eines Schallsignals. Die Patentansprüche 20 und 21 sind hierauf unmittelbar oder mittelbar rückbezogen. Die jeweils auf eine Vorrichtung nach einem der Patentansprüche 19 bis 21 rückbezogenen, nebengeordneten Patentansprüche 22 und 23 betreffen einerseits eine Vorrichtung zum Erkennen von Schallaktivität in einem Schallsignal, andererseits eine Vorrichtung zum Einstufen eines Schallsignals mit dem Ziel, die Codierung des Schallsignals mithilfe der Einstufung des Schallsignals zu optimieren. Patentanspruch 24 ist auf Patentanspruch 23 rückgezogen. Patentanspruch 25 hat zum Gegenstand eine Vorrichtung zum Codieren eines höheren Bandes eines Schallsignals anhand einer Einstufung des Schallsignals und ist auf eine Vorrichtung nach einem der Patentansprüche 19 bis 21 rückbezogen. Die Patentansprüche 26 und 27 sind hierauf mittelbar oder unmittelbar rückbezogen. Wegen des Wortlauts dieser Patentansprüche wird auf die Streitpatentschrift Bezug genommen.

Gegen das Streitpatent waren in der Vergangenheit bereits mehrere Nichtigkeitsverfahren anhängig. Eine Nichtigkeitsklage gegen das Streitpatent führte im Rahmen eines Teilangriffs in Bezug auf die angegriffenen Patentansprüche 1, 2, 5, 19, 20 und 21 zu einer teilweisen Nichtigkeit des Streitpatents (BPatG Urteil vom 6. Dezember 2021 – 4 Ni 10/21 (EP)). Der Bundesgerichtshof wies die hiergegen gerichtete Berufung mit Urteil vom 16. Januar 2024 (Az: X ZR 14/22) zurück. Das Urteil des Bundespatentgerichts ist rechtskräftig. In der rechtskräftigen Fassung weisen die Patentansprüche 1 und 19 das zusätzliche Merkmal (M 1.2.1 bzw. 2.2.3Hi1) auf: “by subtracting a spectral floor from a spectrum of the sound signal in a current frame“ („durch Subtrahieren eines spektralen Untergrunds von einem Spektrum des Schallsignals in einem aktuellen Rahmen“). Diese Fassung ist Grundlage der vorliegenden Nichtigkeitsklage und im Folgenden die geltende Fassung. Wegen des Inhalts des Urteils des Bundesgerichtshofes wird auf die Anlage MFG33 Bezug genommen.

Das Streitpatent ist in vollem Umfang unter Geltendmachung des Nichtigkeitsgrundes der mangelnden Patentfähigkeit angegriffen (Art. II § 6 Abs. 1 Nr. 1 IntPatÜG, Art. 138 Abs. 1 lit. a i. V. m Art. 52, 54, 56 EPÜ).

Die Beklagte verteidigt das Streitpatent in der geltenden Fassung sowie mit drei Hilfsanträgen 1 bis 3, eingereicht mit Schriftsatz vom 10. Mai 2024. Wegen des genauen Wortlauts der Anspruchsfassungen der Hilfsanträge wird auf die Anlage zu diesem Schriftsatz verwiesen.

Die Klägerinnen stützen ihr Vorbringen u. a. auf nachfolgende Dokumente und Schriften:

Kurzzeichen

Kl. zu 1)

Kl. zu 2)

NKB

MFG4

Urteil des Bundespatentgerichts vom 6. Dezember 2021 (4 Ni 10/21 (EP))

NKII

MFG2

EP 2 162 880 B1 (Streitpatentschrift, erteilte Fassung)

NKIII

MFG3

WO 2009/000073 A1(Veröffentlichung der internationalen Anmeldung)

NK1

MFG6

HAWLEY, M. J.: Structure out of Sound. Massachusetts Institute of Technology, 1993, „HAWLEY”

NK1a

MFG25

Skizze zur Funktionsweise der Funktion „music“ in NK1/MFG6

NK2

MFG13

WO 2006/082636 A1, „MATSUBARA“

NK2a

MFG13a

Übersetzung der NK2/MFG13 in die englische Sprache

NK3

MFG7

KLAPURI, A. P.: „Multiple Fundamental Frequency Estimation Based on Harmonicity and Spectral Smoothness”, IEEE Transactions on speech and audio processing, Vol. 11, No. 6, „KLAPURI“

NK3a

BOLL, S. B.: „Suppression of Acoustic Noise in Speech Using Spectral Subtraction”, IEEE Transactions on Acoustic, Speech and Signal Processing, „BOLL“

NK4

MFG8

HOSOYA, S.; ITOH, K.: „A simple noise reduction system for a digital signal processor“, „HOSOYA“

NK4a

MFG8a

Übersetzung der NK4/MFG8 in die deutsche Sprache: „Studie über eine einfache Rauschunterdrückungsverarbeitung in einem digitalen Signalprozessor“

NK5

MFG9

HAMID, M. E.: „A Two-Stage Method for Single-Channel Speech Enhancement“, IEICE TRANS. FUNDAMENTALS, Vol. E89–A, No. 4, „HAMID“

NK6

MFG16

Wikipedia-Eintrag „Exponential Smoothing“, zuletzt geändert am 16. April 2007, abgerufen am 8. April 2022, „Wikipedia II“

NK7

Standard-Spezifikation: ITU-T G.722.2 (07/2003) „Wideband coding of speech at around 16 kbit/s using Adaptive Multi-Rate Wideband (AMR-WB)“, „AMR-WB“

NK8

MFG10

US 2006/0053003 A1, „SUZUKI”

NK9

MFG22

US 5 712 953 A, „LANGS“

MFG11

VASEGHI, S. V.: „Advanced Digital Signal Processing and Noise Reduction“, Second Edition“, Kapitel 11 “Spectral Subtraction”, „VASEGHI“

MFG12

ZHANG, X.; RAS, Z. W.: „Analysis of Sound Features for Music Timbre Recognition“, International Conference on Multimedia and Ubiquitous Engineering (MUE 2007), „ZHANG“

MFG14

MARTIN, R.: „Spectral Subtraction Based on Minimum Statistics“, Proc. EUSIPCO 94, „MARTIN“

MFG15

Wikipedia-Eintrag „Extremwert“, zuletzt geändert am 3. April 2007, abgerufen am 10. März 2023, „Wikipedia I“

MFG17

US 6 823 303 B1, „CONEXANT“

MFG18

JELINEK, M.; SALAMI, R.: „Noise reduction method for wideband speech coding“, Publication in the conference proceedings of 12th European Signal Processing Conference EUSIPCO, Viena, Austria, 2004, „JELINEK I“

MFG19

EP 1 141 948 B1, „TELLABS“

MFG20

ZINSER, R. L. et al.: „Time domain voicing cutoff (TDVC): A high quality, low complexity 1.3-2.0 kb/sec vocoder“, September 1997, Published in: 1997 IEEE Workshop on Speech Coding for Telecommunications Proceedings. Back to Basics: Attacking Fundamental Problems in Speech Coding, DOI; „ZINSER“

MFG21

JELINEK, M. et al.: „Advances in source-controlled variable bit rate wideband speech coding“, Januar 2004, „JELINEK II“

MFG23

IA-32 Intel® Architecture Software Developer’s Manual, Volume 2A: Instruction Set Reference, A-M, 2004, „INTEL“

NK10

MFG29

US 2004/181393 A1, „BAUMGARTE”

NK11

MFG30

Wikipedia-Eintrag „Stimmhaftigkeit“, zuletzt geändert am 24. Februar 2023, „Wikipedia III“

NK12

MFG31

ARIB STD-T64-C.S0052-A v1.0 Source-Controlled Variable-Rate Multimode Wideband Speech Codec (VMR-WB), Service Option 62 and 63 for Spread Spectrum Systems“, „VMR-WBA”, „ARIB”

MFG33

BGH, Urteil vom 16. Januar 2024, Az: X ZR 14/22

MFG35

Numerische Tabellenkalkulation der zweiten Ausführungsform des Streitpatents, erstellt von MFG

MFG35a

Formeldarstellung der numerischen Tabellenkalkulation in MFG35

MFG35b

Annotierte Kopie von MFG35a

MFG36

Klapuri A.: Dissertationsschrift „Signal Processing Methods for the Automatic Transcription of Music”, Tampere University of Technology Publications 460, März 2004, ISBN 952-15-1147-8, „KLAPURI II”

MFG37

M. Berouti, M.; Schwartz R.; Makhoul, J.: „ENHANCEMENT OF SPEECH CORRUPTED BY ACOUSTIC NOISE“, „BEROUTI”

MFG38

Okazaki M., Kunimoto T.; Kobayashi T.: „MULTI-STAGE SPECTRAL SUBTRACTION FOR ENHANCEMENT OF AUDIO SIGNALS“, „OKAZAKI”

MFG40

Wikipedia-Eintrag: „Kosinus-Ähnlichkeit”, zuletzt geändert am 6. Juli 2023, „WIKIPEDIA IV”

Die Klägerin zu 1) ist der Auffassung, dass der Gegenstand der Patentansprüche 1 und 19 in der Fassung nach der Teilnichtigerklärung gemäß Urteil vom 6. Dezember 2021 im Nichtigkeitsverfahren zum Aktenzeichen 4 Ni 10/21 (EP) durch die Kombination von HAWLEY mit MATSUBARA, HAWLEY mit KLAPURI oder HAWLEY mit HOSOYA nahegelegt sei. In HAWLEY fänden sich Hinweise auf Schwächen, die die Fachperson veranlassen würden, nach Verbesserungen zu suchen. Vor dem Hintergrund der Rechtsprechung „Signalübertragungssystem“ (BGH, Beschluss vom 13. Juli 2020, X ZR 90/18) sei davon auszugehen, dass die Fachperson auch ohne Anlass zur technischen Lehre des Streitpatents gelangt wäre. Die Maßnahme, dass ein aktuelles Residualspektrum des Schallsignals berechnet werde, indem ein spektraler Untergrund von einem Spektrum des Schallsignals in einem aktuellen Rahmen subtrahiert werde, sei als generelle Maßnahme bekannt gewesen. Ferner seien die Gegenstände der Unteransprüche aufgrund unterschiedlicher Kombinationen für die Fachperson nahegelegt gewesen. Zur weiteren Begründung der Nichtigkeitsklage bezieht sich die Klägerin zu 1) auf die Ausführungen der Klägerin zu 2).

Die Klägerin zu 2) ist der Auffassung, dass der Gegenstand beider Patentansprüche 1 und 19 nicht neu sei gegenüber SUZUKI und LANGS. Darüber hinaus beruhten diese Patentansprüche nicht auf erfinderischer Tätigkeit, weil die Fachperson die Dokumente HAWLEY mit KLAPURI bzw. HOSOYA, dem Fachwissen, belegt durch VASEGI, kombiniere und so zur technischen Lehre dieser Patentansprüche gelange. Gleiches gelte für die Kombination von ZHANG mit MATSUBARA bzw. der Kombination HAWLEY mit MATSUBARA. Ausgehend von HAWLEY, aber auch SUZUKI, wäre die Fachperson unter Berücksichtigung ihres Fachwissens im Lichte der Rechtsprechung „Spinfrequenz“ (BGH, Urteil vom 26.09.2017, X ZR 109/15) zur technischen Lehre des Streitpatents gelangt. Eines Anlasses habe es nicht bedurft, um die allgemeine und bekannte Maßnahme des Subtrahierens eines spektralen Untergrundes von einem Spektrum des Schallsignals in einem aktuellen Rahmen zu berücksichtigen.

Die Nichtigkeit der Unteransprüche liege deshalb vor, weil die zusätzlichen Merkmale für eine Fachperson zum Teil eine auf der Hand liegende Implementierungsvariante darstellen würden oder aus dem Stand der Technik bekannt seien.

Die Klägerinnen beantragen,

das europäische Patent 2 162 880 in der Fassung des Nichtigkeitsurteils des Bundespatentgerichts vom 6. Dezember 2021 (Az: 4 Ni 10/21 (EP)) mit Wirkung für das Hoheitsgebiet der Bundesrepublik Deutschland im vollen Umfang für nichtig zu erklären.

Die Beklagte beantragt,

die Klage abzuweisen,

hilfsweise, die Klage mit der Maßgabe abzuweisen, dass das Streitpatent eine der Fassungen gemäß den Hilfsanträgen 1 – 3, überreicht mit Schriftsatz vom 10. Mai 2024, erhält und wobei die Hilfsanträge in dieser Reihenfolge gestellt werden und jeweils als geschlossene Anspruchssätze zu verstehen sind.

Die Beklagte tritt dem Vorbringen der Klägerinnen in allen Punkten entgegen. Sie hält die technische Lehre des Streitpatents für neu und erfinderisch. Letzteres habe der Bundesgerichtshof in seinem Urteil vom 16. Januar 2024 entschieden, insbesondere, dass die technische Lehre der geltenden Fassung des Streitpatents nicht nahegelegt sei durch die Kombination HAWLEY und dem Fachwissen. Aus HAWLEY würden sich für die Fachperson keine konkreten Schwächen ergeben, die Anlass für weitere Verbesserungen bieten würden. Eine Kombination mit weiteren Schriften scheide aus. Ferner würde die Fachperson die Entgegenhaltungen MATSUBARA, KLAPURI und HOSOYA nicht ohne Anlass berücksichtigen, weil sie nicht das allgemeine Fachwissen darstellten. Ferner kombiniere die Fachperson die Entgegenhaltung SUZUKI nicht mit HAWLEY, weil SUZUKI ausdrücklich eine Vorgehensweise vorschlage, die sich von den herkömmlichen Methoden, bei denen Spitzen erkannt und dann nachverfolgt würden, unterscheide. Zudem würde die Fachperson die Entgegenhaltungen SUZUKI mit ZHANG nicht kombinieren, weil es an einem Anlass fehle.

Der Senat hat den Parteien einen qualifizierten Hinweis vom 26. März 2024 zugeleitet und hierin Fristen zur Stellungnahme auf den Hinweis und auf etwaiges Vorbringen der jeweiligen Gegenpartei gesetzt. Mit Beschluss vom 9. Januar 2024 hat der Senat die Verfahren 4 Ni 71/22 (EP) und 4 Ni 17/23 (EP) zum Zwecke der gemeinsamen Verhandlung und Entscheidung miteinander verbunden. Das Verfahren 4 Ni 71/22 (EP) führt.

Wegen der weiteren Einzelheiten des Sach- und Streitstands wird auf die zwischen den Parteien gewechselten Schriftsätze nebst Anlagen, auf das Protokoll der mündlichen Verhandlung vom 26. Juni 2024 sowie den weiteren Akteninhalt Bezug genommen.

[ENTSCHEIDUNGSGRUENDE]

A. Die zulässige Klage ist unbegründet und ist daher abzuweisen. Der Gegenstand des Streitpatents erweist sich als schutzfähig; der geltend gemachte Nichtigkeitsgrund der fehlenden Patentfähigkeit gemäß Art. II § 6 Abs. 1 Nr. 1 IntPatÜG, Art. 138 Abs. 1 lit. a i. V. m Art. 52, 54, 56 EPÜ liegt nicht vor. Auf die Hilfsanträge kam es daher nicht an.

I. Zum Streitpatent, zur Aufgabe, zur Fachperson und zur Auslegung

1. Der Gegenstand des Streitpatents betrifft allgemein die Erkennung von Schallaktivitäten, die Abschätzung von Hintergrundgeräuschen und die Klassifizierung von Schallsignalen sowie vor allem das Schätzen der Tonalität, insbesondere um die Unterscheidung zwischen stimmlosen Klängen und Musik zu verbessern. Die Tonalitätsschätzung könne zum Beispiel in einem Superbreitband-Codec verwendet werden, um zu entscheiden, welches Codec-Modell das Signal oberhalb von 7 kHz codieren soll (Streitpatentschrift, Absätze 0001 und 0002).

Das Streitpatent beschäftigt sich mit dem effizienten Codieren von Schallsignalen. Die Codierungstechnik CELP (Code-Excited Linear Prediction) sei eine der besten Techniken, um einen guten Kompromiss zwischen subjektiver Qualität und Bitrate zu erzielen. Die quellengesteuerte bitratenvariable Sprachcodierung (VBR, Variable Bit Rate) erhöhe die Systemkapazität signifikant, da in Abhängigkeit von der Art des Eingangssignals (stimmhaft, stimmlos, Übergang, Hintergrundrauschen) ein Signalklassifizierungsmodul für jeden Sprachrahmen das zugehörige optimierte Codierermodell bzw. die Bitrate wähle. Die bei VBR verwendeten Techniken Spracherkennungsdetektion (VAD, Voice Activity Detection), diskontinuierliche Übertragung (DTX, Discontinuous Transmission) und Komfortrauscherzeugung (CNG, Comfort Noise Generation) reduzierten die durchschnittliche Bitrate deutlich (Absätze 0003 bis 0006).

Der mit Sprachsignalen gut funktionierende VAD-Algorithmus könne gravierende Probleme bereiten, wenn Musikabschnitte des Schallsignals versehentlich als stimmlose Signale oder als stabiles Hintergrundrauschen klassifiziert würden. Daher wäre es vorteilhaft, den VAD-Algorithmus so zu erweitern, dass er Musiksignale besser von anderen Signalen unterscheiden könne. Das Streitpatent bezeichnet diese Erweiterung als Schallsignalerkennungsalgorithmus (SAD, sound activity detection), wobei Schall sowohl Sprache als auch Musik oder jedes andere nutzbare Signal umfasse. Das Detektieren oder Schätzen der Tonalität bzw. der tonalen Stabilität erhöhe die Leistungsfähigkeit des SAD-Algorithmus und könne auch in einem Super-Breitband Codierer-Decodierer verwendet werden, um für Signale oberhalb von 7 kHz das richtige Codierermodell auszuwählen (Absätze 0002, 0006 bis 0009, 0097 und 0149).

2. Die Aufgabe der besseren Differenzierbarkeit von Musik- und anderen Signalen soll gelöst werden mit den (in eingeschränkter Fassung gemäß Urteil vom 6. Dezember 2021 im Nichtigkeitsverfahren zum Aktenzeichen 4 Ni 10/21 (EP)) geltenden unabhängigen

Ansprüchen 1 und 19, d. h. einem Verfahren und einer Vorrichtung zum Schätzen der Tonalität eines Schallsignals, sowie mit den von den Ansprüchen 1 bzw. 19 direkt oder indirekt abhängigen und nebengeordneten

· Ansprüchen 6 und 22, d. h. mit einem Verfahren und einer Vorrichtung zum Erkennen von Schallaktivität in einem Schallsignal, wobei die Tonalitätsschätzung zur Unterscheidung eines Musiksignals von Hintergrundrauschen dient,

· Ansprüchen 11 und 23, d. h. mit einem Verfahren und einer Vorrichtung zum Einstufen eines Schallsignals als inaktives oder aktives Schallsignal mit dem Ziel, die Codierung des Schallsignals zu optimieren, wobei die Tonalitätsschätzung eine Einstufung von Musiksignalen als stimmlose Sprachsignale verhindern soll,

· Ansprüchen 14 und 25, d. h. mit einem Verfahren und einer Vorrichtung zum Codieren eines höheren Bandes eines Schallsignals anhand einer Einstufung des Schallsignals, wobei die Tonalitätsschätzung zum Einstufen des Schallsignals als tonales Schallsignal dient.

Im Ausführungsbeispiel des Streitpatents dient der SAD-Algorithmus der Klassifizierung von Signalrahmen als Ton oder Hintergrundrauschen/Ruhe. Der SAD-Algorithmus basiert auf einem frequenzabhängigen Signal-zu-Rausch-Verhältnis (SNR) und verwendet in jedem kritischen Band eine geschätzte Energie des Hintergrundrauschens. Eine Entscheidung über eine Aktualisierung des Hintergrundrauschschätzers basiert auf verschiedenen Parametern, u. a. solchen, die zwischen Hintergrundrauschen/Ruhe und Musik differenzieren, so dass eine unerwünschte Aktualisierung des Hintergrundrauschschätzers durch Musiksignale verhindert wird (Absatz 0015).

Die im Streitpatent beschriebenen Techniken können bei mit 16 kHz abgetasteten Breitbandsignalen eingesetzt werden. Der im Ausführungsbeispiel gezeigte Codierer basiert auf dem AMR-WB-Codec (3GPP TS 26.190) und dem VMR-WB-Codec (3GPP2 C.S0052-A), die jeweils eine Abtastratenwandlung auf 12,8 kHz (Bandbreite 6,4 kHz) verwenden (Absatz 0017).

Der SAD-Algorithmus entspricht der ersten von drei Stufen der Signalklassifizierung. In der ersten/zweiten/dritten Stufe werden inaktive Rahmen/stimmlose Sprache/stimmhafte Sprache erkannt, um diese jeweils optimal zu codieren. In der zweiten Stufe wird die Musikerkennung hinzugefügt, um eine Klassifizierung eines Musiksignals als stimmloses (Sprach-)Signal zu verhindern (Absatz 0016).

Die nachfolgend wiedergegebene Figur 1 der Streitpatentschrift gibt einen Überblick über die einzelnen Stufen der Signalklassifizierung, wobei der Senat jene Schaltungsblöcke farblich markiert hat, in denen eine Tonalitätsschätzung implementiert ist:

Streitpatentschrift, Figur 1 mit Kolorierung durch den Senat

Die Arbeitsweise des Sound Signal Classifier 108 (Figur 1) ist in der nachfolgend wiedergegebene Figur 5 dargestellt (Absätze 0116 bis 0122), wobei die Tonalitätsschätzung bei der Überprüfung 502 eingesetzt wird, um zu entscheiden, ob ein stimmloser Sprachrahmen oder ein Rahmen mit Musik vorliegt:

Streitpatentschrift, Figur 5 mit Kolorierung durch den Senat

Dabei ist die Tonalitätsschätzung, insbesondere das Vorliegen einer tonalen Stabilität (tonal_stability) nur ein Parameter von mehreren, die darüber entscheiden, ob ein Sprachrahmen mit stimmloser Sprache oder mit Musik vorliegt, wie aus der nachfolgend eingeblendeten Figur 6 ersichtlich ist:

Abbildung in Originalgröße in neuem Fenster öffnen

Streitpatentschrift, zweimal linker Ausschnitt aus Figur 6,

jeweils mit Kommentierung und Kolorierung durch den Senat

Im Absatz 0097 der Streitpatentschrift ist nochmals summarisch angegeben, zu welchen Zwecken die Tonalitätsschätzung dient, nämlich,

· zur Verhinderung falscher Aktualisierungen der Rauschenergieschätzung,

· zur Verhinderung der Bewertung von Musikabschnitten als stimmlose Rahmen, und

· zur Auswahl des Codierers für Signale oberhalb von 7 kHz in Super-Breitband-Codecs.

3. Zuständige Fachperson ist eine Ingenieurin oder ein Ingenieur der Elektro-, Nachrichten- oder Informationstechnik mit einem universitären Master oder Diplom und mehreren Jahren Berufserfahrung auf dem Gebiet der Audiocodierung unter Berücksichtigung von Sprache und Musik in Schallsignalen sowie mit einer grundlegenden Fachkenntnis der einschlägigen Normen und Standards.

4. Die streitgegenständlichen unabhängigen Patentansprüche 1 und 19 in der Fassung nach der Teilnichtigerklärung gemäß Urteil vom 6. Dezember 2022 im Nichtigkeitsverfahren zum Aktenzeichen 4 Ni 10/21 (EP) (NK B/MFG4) und im Folgenden als geltende Fassung bezeichnet, lauten in gegliederter Form wie folgt:

Anspruch 1

1.1 Verfahren zum Schätzen der Tonalität eines Schallsignals, wobei das Verfahren umfasst:

A method for estimating a tonality of a sound signal, the method comprising:

1.2 Berechnen eines aktuellen Residualspektrums des Schallsignals

calculating a current residual spectrum of the sound signal

2.2.3Hi1 durch Subtrahieren eines spektralen Untergrunds von einem Spektrum des Schallsignals in einem aktuellen Rahmen;

by subtracting a spectral floor from a spectrum of the sound signal in a current frame;

1.3 Erkennen von Spitzen im aktuellen Residualspektrum;

detecting peaks in the current residual spectrum;

1.4 Berechnen einer Korrelationskarte zwischen dem aktuellen Residualspektrum und einem vorherigen Residualspektrum für jede erkannte Spitze; und

calculating a correlation map between the current residual spectrum and a previous residual spectrum for each detected peak; and

1.5 Berechnen einer Langzeit-Korrelationskarte basierend auf der berechneten Korrelationskarte, wobei die Langzeit-Korrelationskarte eine Tonalität im Schallsignal anzeigt.

calculating a long-term correlation map based on the calculated correlation map, the long-term correlation map being indicative of a tonality in the sound signal.

Anspruch 19

19.1 Vorrichtung zum Schätzen einer Tonalität eines Schallsignals, wobei die Vorrichtung umfasst:

A device for estimating a tonality of a sound signal, the device comprising:

19.2 einen Berechner zum Berechnen eines aktuellen Residualspektrums des Schallsignals

a calculator for calculating a current residual spectrum of the sound signal

19.2.3Hi1 durch Subtrahieren eines spektralen Untergrunds von einem Spektrum des Schallsignals in einem aktuellen Rahmen;

by subtracting a spectral floor from a spectrum of the sound signal in a current frame;

19.3 einen Detektor zum Erkennen von Spitzen im aktuellen Residualspektrum;

a detector for detecting peaks in the current residual spectrum;

19.4 einen Berechner zum Berechnen einer Korrelationskarte zwischen dem aktuellen Residualspektrum und einem vorherigen Residualspektrum für jede erkannte Spitze; und

a calculator for calculating a correlation map between the current residual spectrum and a previous residual spectrum for each detected peak; and

19.5 einen Berechner zum Berechnen einer Langzeit-Korrelationskarte basierend auf der berechneten Korrelationskarte, wobei die Langzeit-Korrelationskarte eine Tonalität im Schallsignal anzeigt.

a calculator for calculating a long-term correlation map based on the calculated correlation map, the long-term correlation map being indicative of a tonality in the sound signal.

5. Seiner Beurteilung der im Wesentlichen gleichlautenden, geltenden unabhängigen Ansprüche – einem Verfahren nach Anspruch 1 und einer Vorrichtung nach Anspruch 19 zum Schätzen der Tonalität eines Schallsignals – mit denen inhaltlich korrespondierende Gegenstände beansprucht werden, legt der Senat folgendes Verständnis zugrunde:

5.1

Allgemeine technische Lehre und Ausführungsbeispiel

Das Frequenzspektrum eines zeitlichen Abschnitts eines Schallsignals hat in Abhängigkeit von der Schallquelle (Sprache (stimmhaft, stimmlos), Musik, sonstige Geräusche) jeweils eine unterschiedliche Form. Wie einleitend dargelegt, befasst sich das Streitpatent insbesondere mit der Differenzierung zwischen Musiksignalen und stimmlosen Sprachsignalen bzw. Hintergrundrauschen. Musiksignale weisen regelmäßig Frequenzspektren auf, in denen bestimmte Frequenzlinien oder -bereiche (Spektralwerte) dominieren und diese hinsichtlich ihrer Form (Amplitude, Mittenfrequenz, Bandbreite, …) über mehrere aufeinanderfolgende Zeitabschnitte relativ stabil sind.

Im Ausführungsbeispiel des Streitpatents werden Breitband-Schallsignale mit 16 kHz abgetastet, mit 16 Bit quantisiert und anschließend auf 12,8 kHz dezimiert. Damit enthält ein 20 ms langer Zeitabschnitt bzw. Rahmen (frame) des abgetasteten Schallsignals 256 quantisierte Samples (Absätze 0017, 0021 und 0026). Zwei um 128 Samples verschobene und gefensterte Abschnitte (Figur 2) werden jeweils mittels einer FFT (Fast Fourier Transformation) in den Frequenzbereich transformiert und liefern zwei Spektren mit jeweils 256 Spektralwerten (spectral parameters) X

(1)

(k) und X

(2)

(k) (k = 0, …, 255) pro Rahmen (Absätze 0036 bis 0040). Diese werden jeweils auf 20 „kritische Bänder“ CB(i) im Bereich von 0 bis 6400 Hz aufgeteilt (Absatz 0041), wobei jedes Band CB(i) zwischen 2 und 21 diskrete Frequenzen (frequency bins) umfasst (Absatz 0042).

Ein Spektralanalysator (spectral analyzer 102, Figur 1) berechnet für jeden der beiden transformierten Zeitabschnitte die durchschnittliche Energie E

CB

(i) in jedem der 20 Bänder (Absatz 0043, Gleichung (2)) und die normierte Energie E

BIN

(k) (k = 1, …, 127) für jede diskrete Frequenz (frequency bin) (Absatz 0044, Gleichung (3)), sowie daraus das über jeweils zwei Spektralanalysen gemittelte logarithmische Energiespektrum E

dB

(k) (k = 1, …, 127) (average log energy spectrum

(in decibels); Absatz 0044, Gleichung (4)).

Die über alle Bänder (i = 1, …, 19) aufsummierten Energien E

CB

(i) liefern für jede der beiden Spektralanalysen die (gesamte) Spektralenergie E

frame

(Absatz 0045, Gleichung (5)) – eine Mitteilung über jeweils zwei Spektralanalysen liefert die durchschnittliche Gesamtenergie E

t

in einem Rahmen (Absatz 0045, Gleichung (6)).

5.2

Tonalität

(Merkmale

1.1 und 19.1)

Die Gegenstände des Streitpatents betreffen nach Merkmal 1.1 des Anspruchs 1 ein Verfahren und nach Merkmal 19.1 des Anspruchs 19 eine Vorrichtung, die dem Zweck dienen, die Tonalität eines Schallsignals zu schätzen, insbesondere in Hinblick auf die Detektion von Musikabschnitten.

Der Begriff „Tonalität“ bezeichnet im Streitpatent eine bestimmte Eigenschaft von Schallsignalen, die – neben anderen Merkmalen – die Differenzierung von Musik und anderen Arten von Schallsignalen, insbesondere von Sprache ermöglichen soll, indem abgeschätzt wird, inwieweit ein untersuchtes Signal diese Eigenschaft aufweist.

Die Schätzung der Tonalität eines Schallsignals wird durch Verfahrensschritte gemäß den folgenden Merkmalen 1.2 bis 1.5 auf der Grundlage von Residualspektren der Schallsignale, darin erkannter Spitzen und für diese berechnete Korrelationskarten und Langzeit-Korrelationskarten durchgeführt, wozu in den Merkmalen 19.2 bis 19.5 des Vorrichtungsanspruchs 19 die entsprechenden funktionellen Komponenten beansprucht werden.

Da die Fachperson dem Streitpatent und den beiden darin beschriebenen Ausführungsbeispielen somit eindeutig entnimmt, dass die Tonalität ein Maß für die zeitliche Konstanz der Töne bzw. spezifischen Spektralwerte eines Schallsignals beschreibt, kann dahingestellt bleiben, ob das Streitpatent die Begriffe „Tonalität“ (tonality; Ansprüche 1, 6, 11, 14 bis 16, 19, 22, 23 und 25 bis 27; Absätze 0002, 0006, 0009 bis 0012, 0085, 0148 und 0157) und tonale Stabilität (tonal stability; Anspruch 13; Absätze 0070, 0085, 0092, 0097, 0098, 0110, 0112, 0113, 0115, 0122, 0139, 0141, 0143 und 0149) vollständig synonym verwendet (vgl. dazu auch MFG33, Rdn. 18 bis 28).

5.3

Residualspektrum

(Merkmale

1.2 und 2.2.3

Hi1

)

Das gemäß Merkmal 1.2 berechnete Residualspektrum des Schallsignals ist das aus dem (ursprünglichen) Spektrum des Schallsignals durch eine mathematische Operation gewonnene, als „Rest zurückbleibende“ Spektrum, wobei gemäß Merkmal 2.2.3Hi1 – durch dessen Aufnahme Anspruch 1 in der geltenden Fassung gegenüber der erteilten Fassung beschränkt ist – diese Berechnung derart konkretisiert wird, dass ein spektraler Untergrund (spectral floor) vom Spektrum des Schallsignals in einem aktuellen Rahmen (current frame) subtrahiert wird. Die Fachperson, der Durchführung und Zweck von Untergrundsubtraktionen im Allgemeinen vertraut sind, erkennt, dass durch diese Maßnahme die nicht zum spektralen Untergrund gehörenden lokal dominierenden Frequenzanteile stärker hervortreten, wodurch deren Analyse und insbesondere die Beurteilung ihrer zeitlichen Stabilität verbessert werden kann.

Aus der Angabe „aktuellen“ (current) entnimmt die Fachperson, dass das Residualspektrum durch Untersuchung eines aktuellen Zeitabschnitts bzw. abgetasteten Rahmens des Schallsignals gewonnen wird, in Abgrenzung insbesondere zum „vorherigen“ Residualspektrum (Merkmal 1.4: previous residual spectrum), welches aus dem zeitlich direkt vorangegangenen Rahmen bestimmt wurde.

Die Merkmale 1.2 und 2.2.3Hi1 lassen es dabei offen, wie das hierzu als Ausgangsspektrum verwendete Spektrum des Schallsignals aus dem ursprünglichen Schallsignal gewonnen wird und ebenso, in welcher Weise der spektrale Untergrund gebildet wird.

Nach den insoweit nicht einschränkenden, in der Beschreibung des Streitpatents erläuterten Ausführungsbeispielen werden dazu mittels fachüblicher Spektralanalyse, beispielsweise mittels Fast Fourier Transformation (FFT) die Abtastwerte eines Rahmens des Schallsignals in den Frequenzbereich transformiert (Absätze 0036 bis 0043) und aus diesen ein gemitteltes logarithmiertes Energie-Spektrum E

dB

(k) berechnet (Absatz 0044, Gleichung (4)), welches bei beiden Ausführungsbeispielen als Ausgangsspektrum herangezogen wird (Absätze 0100 und 0150).

Beim ersten Ausführungsbeispiel werden zur Berechnung des Residualspektrums im Ausgangsspektrum zunächst die lokalen Minima ermittelt (vgl. geltenden Anspruch 2) und deren Indizes in einem Puffer (i

min

) gespeichert (Absätze 0099 und 100; Gleichung (30)):

Abbildung in Originalgröße in neuem Fenster öffnen

Die Verbindung der lokalen Minima im Spektrum des Schallsignals mittels einer stückweise linearen Funktion liefert einen spektralen Untergrund bzw. in der Übersetzung nach Streitpatent eine „Spektrumsuntergrenze“ (spectral floor, sp_floor(j); Absätze 0101 und 0102), der bzw. die von dem Energiespektrum des Schallsignals (E

dB

(k)) subtrahiert wird (Merkmal 2.2.3Hi1). Das Ergebnis ist das Residualspektrum nach Merkmal 1.2 (residual spectrum,

E

dB, res

; Absätze 0101 bis 0103; Gleichung (32); Figur 3):

Die nachfolgend wiedergegebene Figur 3 veranschaulicht diese Subtraktion:

Abbildung in Originalgröße in neuem Fenster öffnen

Streitpatentschrift, Figur 3 mit Kolorierung und Kommentierung durch den Senat

Beim zweiten Ausführungsbeispiel wird als alternative Methode zur Bestimmung des zu subtrahierenden spektralen Untergrunds eine Filterung des Ausgangsspektrums mit einem Gleitmittelwertfilter (moving average filter) angewendet (Anspruch 15 und Absätze 0150 bis 0153).

Das Subtrahieren gemäß Merkmal 2.2.3Hi1 versteht die Fachperson nicht anders als in der üblichen allgemeinen Bedeutung, nämlich als eine mathematische Operation, mit der konkret die Werte des Ausgangsspektrums durch die Differenz aus einem Ausgangswert und dem korrespondierenden (Frequenzbin-)Wert des spektralen Untergrunds ersetzt werden (Absätze 0103, 0154 und insbesondere Gleichung (32) sowie MFG33, Rn. 45 und 46).

Insgesamt dienen in jedem Fall die Berechnungen dazu, die dominierenden Frequenzanteile stärker hervortreten zu lassen, wobei sich weder die Anzahl, Größe und Form der lokal dominierenden Signalanteile des ursprünglichen Schallsignalspektrums exakt im Residualspektrum widerspiegeln, noch konkrete Mindestanforderungen der mit der Erzeugung des Residualspektrum erzielten Verbesserungen erfüllt werden müssen (vgl. dazu auch MFG33, Rn. 32 bis 49, 56 und 57).

Beispielsweise ist auch ein nur zweiwertiges Spektrum – „1“ (= Spitze) bei lokalen Maxima im Spektrum des Schallsignals, „0“ sonst – als ein Residualspektrum gemäß Merkmal 1.2 anzusehen. Auch ein solchermaßen vereinfachtes Spektrum liefert eine hinreichend genaue Aussage über die „Töne“, d. h. die lokal dominierenden Frequenzanteile des ursprünglichen Signalspektrums.

5.4

Erkennen von Spitzen

im Residualspektrum (Merkmal

1.3)

Die Spitzen („peaks“), die gemäß Merkmal 1.3 im Residualspektrum erkannt („detecting”) werden sollen, spielen für den Kern der technischen Lehre des Streitpatents eine entscheidende Rolle, da aus den erkannten Spitzen die Korrelationskarte und aus der Korrelationskarte die Langzeit-Korrelationskarte berechnet wird, um daraus letztendlich die Tonalität eines Schallsignals zu schätzen (Merkmale 1.4 und 1.5).

Die Fachperson versteht unter den zu detektierenden Spitzen im Residualspektrum in Übereinstimmung mit der entsprechenden Definition in der Beschreibung jeweils die Bereiche zwischen zwei Minima (Absatz 0104), so dass große Werte im Residualspektrum – lokale Maxima – die mithin dominante Signalanteile („Töne“) kennzeichnen, jeweils von zwei Minima (in oben beschriebenen ersten Ausführungsbeispiel und im Residualspektrum gemäß Figur 3 jeweils zwei 0 dB-Minima) begrenzt werden, die gemäß den beiden Ausführungsbeispielen des Streitpatents für das Erkennen von Spitzen im Residualspektrum gesucht und identifiziert werden (Absatz 0156).

Somit ist Bedingung für das Erkennen von Spitzen im Residualspektrum, dass diese zusammen mit den sie definierenden Minima im Residualspektrum vorhanden sind und zwar im Wesentlichen an denselben Stellen wie im Ausgangsspektrum, sowie dass – je nach Art der Untergrundsubtraktion und den damit möglicherweise entstehenden Artefakten – ein mögliches Verschwinden einzelner Extrema oder Erscheinen zusätzlicher Maxima nur in zu vernachlässigendem Umfang hervorgebracht wird (MFG33, Rdn. 51 bis 57).

Dabei ist es für das Erkennen von Spitzen im Sinne der technischen Lehre des Streitpatents, welches für die nachfolgenden Verfahrensschritte und das Schätzen und Anzeigen der Tonalität notwendig ist, nicht ausreichend, dass lediglich die Grob- oder Gesamtstruktur eines Spektrums, welches zwangsläufig immer lokale Maxima und Minima und damit auch „Spitzen“ aufweist, detektiert oder erkannt wird und damit die Spitzen nur insoweit indirekt berücksichtigt werden, indem sie bei nachfolgenden Berechnungen verwendet werden, ohne dass sie als solche identifiziert wurden. Somit ist insbesondere das bloße Verwenden einer Hüllkurve, die unter derartiger Berücksichtigung der Maxima berechnet wurde oder das Verwenden eines Spitzen aufweisenden Spektrums bei der Berechnung eines charakterisierenden Parameters, kein „Erkennen von Spitzen“, da damit kein Wissen über die Spitzen selbst gewonnen wird, welches es ermöglichen würde, zumindest für einen Teil der Spitzen als solche in nachgelagerten Maßnahmen – hier beim Berechnen einer Korrelationskarte und einer Langzeit-Korrelationskarte – deren Eigenschaften und insbesondere zeitliches Verhalten zu analysieren.

5.5

Korrelationskarte

(Merkmal

1.4)

Zum Schätzen der Tonalität des Schallsignals werden fortlaufend Residualspektren berechnet. Ein Vergleich, im Sinne einer Korrelation, der erkannten Spitzen bzw. der zu den einzelnen Spitzen gehörenden Spektralwerte des aktuellen Residualspektrums mit den entsprechenden Spektralwerten eines vorherigen Residualspektrums liefert eine „Korrelationskarte“ (correlation map) gemäß Merkmal

1.4. Vor dem Hintergrund der Gesamtoffenbarung des Streitpatents ergibt sich, dass nicht etwa – wie bei nicht fachgerechter Auslegung allein aufgrund des Wortlauts – für jede erkannte Spitze eine eigene Korrelationskarte berechnet wird, sondern dass für jedes neue (aktuelle) Residualspektrum eine Korrelationskarte berechnet wird, die mindestens so viele Einträge (Werte) aufweist, wie Spitzen im aktuellen Residualspektrum erkannt wurden (vgl. dazu insbesondere Figur 4).

Merkmal 1.4 schließt nicht aus, dass die Korrelationskarte auch für Frequenzen, die nicht zu einer Spitze gehören, einen Eintrag aufweist. Für das vorstehend skizzierte zweiwertige Residualspektrum kann eine gleichfalls zweiwertige Korrelationskarte so berechnet werden, dass sich bei einer Frequenz nur dann ein großer Korrelationswert (z. B. „1“) ergibt, wenn in zwei aufeinanderfolgenden Residualspektren der jeweilige Spektralwert gleich „1“ ist, also ein „Ton“ vorhanden ist. Bei allen anderen Kombinationen („1-0“, „0-1“, „0-0“) läge ein niedriger Korrelationswert vor (z. B. „0“).

Nach dem insoweit nicht einschränkenden Ausführungsbeispiel ist die Korrelationskarte (cor_map) eine Relation, die den zu einer Spitze gehörenden Frequenzen einen mittels des aktuellen (E

dB, res

(k)) und des vorherigen (E

dB, res

(-1)

(k)) Residualspektrums berechneten Korrelationswert zuordnet (N

min

= Anzahl der Minima im Spektrum des Schallsignals; i

min

= Puffer der Indizes der Minima (Absätze 0104 bis 0106; Gleichung (33)):

Abbildung in Originalgröße in neuem Fenster öffnen

Der obere Teil der Figur 4 der Streitpatentschrift zeigt die Residualspektren eines aktuellen (current frame) und eines vorhergehenden (previous frame) jeweils 20 ms langen Rahmens in Frequenzbins, der untere Teil der Figur 4 die daraus errechnete Korrelationskarte:

Abbildung in Originalgröße in neuem Fenster öffnen

Streitpatentschrift, Figur 4 mit Kolorierung und Kommentierung durch den Senat:

Residualspektren zweier aufeinanderfolgender Rahmen und zugehörige Korrelationskarte

5.6

Langzeit-Korrelationskarte

(Merkmal

1.5)

Gemäß Merkmal 1.5 wird, basierend auf der nach Merkmal 1.4 berechneten Korrelationskarte, eine Langzeit-Korrelationskarte berechnet, die eine Tonalität des Schallsignals (Merkmale 1.1, 1.5) anzeigt. Während die Korrelationskarte eine Aussage über die Korrelation der Spitzen zweier (unmittelbar) aufeinanderfolgender Residualspektren liefert, berücksichtigt die Langzeit-Korrelationskarte somit mehr als zwei Residualspektren, um eine (bessere) Aussage über die Dauer der einzelnen Töne, also über die tonale Stabilität treffen zu können. Die Werte der Langzeit-Korrelationskarte gemäß Merkmal 1.5 sind somit ein Maß für die zeitliche Stabilität der einzelnen spektralen Komponenten im Residualspektrum und damit auch im Spektrum des ursprünglichen Schallsignals. Die Fachperson liest mit, dass die Langzeit-Korrelationskarte mit jedem neu berechneten Residualspektrum bzw. jeder neu berechneten Korrelationskarte aktualisiert wird. Dabei ist der Fachperson eine sogenannte exponentielle Glättung der Form y

n

=

α*y

n-1

+(1-α)·x

n

bekannt, um aus den aktuellen Werten x

n

(der Korrelationskarte) und den vergangenen Werten y

n-1

, y

n-2

, …, y

n-m

(der Langzeit-Korrelationskarte) einen Schätzwert y

n

(der Langzeit-Korrelationskarte) zu gewinnen (vgl. Wikipedia II (NK6/MFG16): „Exponential smoothing“). In dem skizzierten Fall zweiwertiger Residualspektren und Korrelationskarten ({0; 1}) ergibt sich mit exponentieller Glättung eine Langzeit-Korrelationskarte, deren Wertemenge (für 0 = m[1] && m[0] > m[2] && m[0] >= m[-1] && m[0] > m[-2]) und liefern den sogenannten Spitzenrahmen (peak frame p[i]), dessen Einträge für die Frequenzen i, bei denen im Amplitudenspektrum m[i] lokale Maxima vorliegen, den Wert „1“ (findPeaks […] *p = 1) und sonst den Wert „0“ (findPeaks […] bzero(p,…)) annehmen (Seite 81, letzter Absatz):

HAWLEY, Seiten 81 und 82: Erzeugung von p[i] aus m[i]

Der aus den Spitzenrahmen p[i] gebildete Puffer P(t)[i] (Seite 176: #define P(n)) gibt an, bei welcher Frequenz i des Rahmens mit der Nr. t eine Spitze vorliegt. Während im ursprünglichen Amplitudenspektrum m[i] das Schallsignal noch eine Vielzahl unterschiedlicher Amplitudenwerte annehmen kann, ist der daraus abgeleitete Puffer P(t)[i] zweiwertig (Seite 82, Absatz 1).

Damit ist der Puffer P(0)[i] ein aktuelles Residualspektrum des Schallsignals gemäß Merkmal

1.2, denn er ist ein Spektrum (für jede Frequenz i liefert P(0)[i] eine Aussage über die Amplitude, nämlich „1“ oder „0“), ist aus dem Spektrum m[i] des Schallsignals s des aktuellen Rahmens berechnet und lässt dessen dominierende Frequenzanteile, die lokalen Maxima, stärker hervortreten.

Merkmal 1.3

Da das aus HAWLEY bekannte Residualspektrum P(0)[i] nur zweiwertig ist, sind auch automatisch seine Spitzen (P(0)[i] = 1) erkannt, wie von Merkmal 1.3 gefordert.

Merkmal 1.4

Der nachfolgend wiedergegebene Abschnitt der Funktion music (Seite 82) zeigt die Bildung des gleitenden Mittelwerts (peakT/peakN) der durchschnittlichen Spitzendauer mittels einer for-Schleife und darin enthaltener if / else if-Abfrage:

Dabei wird ein Frequenzbereich von 150 - 1000 Hz (MinBin = 10 bis MaxBin = 70) ausgewertet und es werden nur Spitzen (als Töne) gezählt, die mehr als drei (*p2 > minRun = 3) und weniger als 42 aufeinanderfolgende Rahmen andauern (*p2 minRun = 3). Ist dies der Fall (im Beispiel: *p2 = 7), wird der Zähler peakN, der die Anzahl der Spitzen-Läufe angibt, um Eins (peakN++) und der Zähler peakT, der die Gesamtzahl der Spitzen angibt, um den Wert der bis dahin aufgelaufenen Spitzen erhöht (peakT += *p2).

Sind weder die drei Bedingungen des if-Zweigs, noch die Bedingung des else-if-Zweigs erfüllt, z. B. weil bei der betrachteten Frequenz im aktuellen Rahmen keine Spitze vorliegt (*p3 = 0) und in den vorigen Rahmen nur drei Spitzen aufeinander folgten (*p2 = 3), so werden weder die Speicherbereiche, auf die die Zeigervariablen *p2 und *p3 zeigen, noch die Zähler peakN und peakT verändert.

Nach dem Ende der for-Schleife, also der Abarbeitung eines Rahmens, werden die in der Zeigervariablen *p3 gespeicherten Werte auf die Zeigervariable *p2 umgespeichert, so dass bei einem neu eingelesenen Rahmen die Zeigervariable *p3 auf das aktuelle Residualspektrum verweist. Die vorstehend Funktionsweise des Musikdetektors nach HAWLEY ergibt sich auch durch die Skizze zur Funktionsweise der Funktion „music“ in der Anlage NK1a (vgl. dort insbesondere den mittleren Bereich der Tabelle; NK1a wurde als Anlage NB4 bereits im Nichtigkeitsverfahren 4 Ni 10/21 (EP) vorgelegt).

Das Ergebnis der Überprüfung *p2 && *p3 ist bei einer Frequenz nur dann gleich „1“ (WAHR), wenn sowohl in dem vorherigen als auch im aktuellen Residualspektrum bei dieser Frequenz eine Spitze vorlag bzw. vorliegt. Anderenfalls ergibt sich eine „0“ (FALSCH). Damit liegt aber für jede Frequenz, also auch für die Frequenzen, bei denen im aktuellen Rahmen eine Spitze erkannt wurde, ein Korrelationswert vor („1“ oder „0“), so dass eine Korrelationskarte gemäß Merkmal

1.4 berechnet wird. Dabei hat es auf das Ergebnis der Überprüfung *p2 && *p3, also auf das Berechnen der Korrelationskarte, keinen Einfluss, wie viele Spitzen in den Vorgängerrahmen vorlagen (z. B.: *p2 = 7 oder *p2 = 1), maßgeblich ist alleine, dass im (unmittelbar) vorherigen Residualspektrum eine Spitze vorlag, dass also *p2 ≠ 0 gilt.

Merkmal 1.5

Basierend auf dem Ergebnis der Überprüfung *p2 && *p3, d. h. basierend auf der berechneten Korrelationskarte, wird mit der Anweisung *p3 += *p2 eine Langzeitkorrelationskarte gemäß Merkmal 1.5 berechnet, denn für jede Frequenz gibt der Speicher, auf den die Zeigervariable *p3, bzw. *p2 nach erfolgtem Umspeichern, zeigt (vgl. auch die Tabelle der NK1a: Spalte 2 zeigt Inhalt von *p2 nach Übernahme des Werte von *p3, Spalte 3 zeigt Inhalt von *p3 vor Übergabe nach *p2) an, über wie viele Rahmen eine Spitze vorhanden ist, was eine Tonalität anzeigt, wie von Merkmal

1.5 gefordert. Dies gilt auch in den Fällen, in denen bei einer Frequenz zwar in den vorherigen Rahmen keine (*p2 = 0), im aktuellen Rahmen jedoch eine Spitze (*p3 = 1) vorliegt. Denn auch dann gibt der Speicher, auf den die Zeigervariable *p3 bzw. *p2 zeigt, an, für wie viele Rahmen eine Spitze vorliegt – in diesem Fall ein Rahmen.

Nicht Merkmal 2.2.3

Hi1

Somit ist aus HAWLEY zwar ein Verfahren zum Schätzen der Tonalität mit den Merkmalen 1.1, 1.2 und 1.3 bis 1.5 gemäß dem geltenden Anspruch 1 des Streitpatents bekannt, das Berechnen eines aktuellen Residualspektrums des Schallsignals (Merkmal 1.2) findet bei HAWLEY jedoch nicht durch das Subtrahieren eines spektralen Untergrunds von einem Spektrum des Schallsignals in einem aktuellen Rahmen statt, womit Merkmal 2.2.3

Hi1

nicht offenbart ist (siehe hierzu auch MFG33, X ZR 14/22, Rn. 110 ff. und MFG4, 4 Ni 10/21 (EP), II.2 e) (i)).

HAWLEY berechnet aus den Abtastwerten s des Schallsignals eines aktuellen Rahmens die Spektralwerte F[i] und bestimmt gemäß m[i] = log|F[i]| ein logarithmisches Amplitudenspektrum (Seite 81, letzter Absatz; Seite 176: Programme Spectrum(m, h, s, n), WindowedHartley(h, n, s, n)). Mittels der Funktion findPeaks werden anschließend die lokalen Maxima in dem Amplitudenspektrum m[i] bestimmt und in dem „Spitzenrahmen“ (peak frame) p[i] wird gespeichert, bei welchen Frequenzen ein lokales Maximum vorliegt (Seite 81, unten: p[i] =1 if m[i] is a local maximum (in i), else 0). Damit ist das aktuelle Residualspektrum des Schallsignals berechnet (Merkmal

1.2) und dessen Spitzen (p[i] = 1) erkannt (Merkmal

1.3), ohne dass hierfür ein spektraler Untergrund vom Spektrum des Schallsignals subtrahiert würde.

Das Verfahren zum Schätzen der Tonalität eines Schallsignals des geltenden Patentanspruchs 1 nach Hauptantrag ist somit neu gegenüber dem Stand der Technik nach der Dissertation HAWLEY, da ihr das Merkmal 2.2.3

Hi1

nicht entnehmbar ist.

Dass das Subtrahieren eines lokalen Untergrundes im Sinne von Merkmal 2.2.3Hi1 in der Dissertation HAWLEY nicht offenbart ist, wurde im Übrigen vom Bundesgerichtshof im Rahmen des Berufungsverfahrens zum Urteil im vorhergehenden Nichtigkeitsverfahren 4 Ni 10/21 (EP) bereits abschließend entschieden (BGH, Urteil vom 16. Januar 2024 – X ZR 14/22 –, juris, Rn. 110 bis 114; wobei dort Merkmal 2.2.3Hi1 als Merkmal 1.2.1 und HAWLEY als K3' bezeichnet wird).

2.1.2 Das Verfahren des geltenden Patentanspruchs 1 mit dem Merkmal 2.2.3Hi1 ergibt sich, anders als die Klägerinnen geltend machen, nicht in naheliegender Weise ausgehend von dem Stand der Technik nach HAWLEY, da nicht ersichtlich ist, was der Fachperson Anlass geben könnte, das Berechnen eines aktuellen Residualspektrums durch Subtrahieren eines spektralen Untergrunds zu realisieren.

Die Verbesserung eines akustischen Signals durch Subtrahieren eines spektralen Untergrunds in einem Spektrum („Spectral Subtraction“) ist sowohl eine geläufige Maßnahme, die dem Fachwissen der zuständigen Fachperson zuzurechnen ist, wie beispielsweise durch den Fachartikel BOLL

(NK3a) und das Kapitel 11 im Lehrbuch VASEGHI (MFG11) belegt wird, als auch den drei Entgegenhaltungen MATSUBARA (NK2/MFG13), KLAPURI (NK3/MFG7) oder HOSOYA (NK4/MFG8) jeweils entnehmbar ist. Daraus folgt jedoch nicht, dass es für die Fachperson naheliegt, statt der in HAWLEY verwendeten Methode für das Residualspektrum die Berechnungsmethode der Untergrundsubtraktion durchzuführen.

Denn eine Erfindung ist nicht schon naheliegend, wenn eine Fachperson aufgrund des Standes der Technik zur Lehre der Erfindung hätte kommen können, sondern nur dann, wenn sie die neue Lösung der technischen Aufgabe auch vorgeschlagen haben würde. Ebenso belegt der Umstand, dass die Kenntnis eines technischen Sachverhalts zum allgemeinen Fachwissen gehört, noch nicht, dass es für die Fachperson nahelag, sich bei der Lösung eines bestimmten Problems dieser Kenntnis zu bedienen (BGH, Urteil vom 21. Juli 2022 – X ZR 82/20, GRUR 2023, 39 Rn. 88 m. w. N. – Leuchtdiode). Dazu bedarf es in der Regel zusätzlicher, über die Erkennbarkeit des technischen Problems hinausreichender Anstöße, Anregungen, Hinweise oder sonstiger Anlässe dafür, die Lösung des technischen Problems auf dem Weg der Erfindung zu suchen und das technisch prinzipiell Mögliche auch tatsächlich zu realisieren (BGH, Urteil vom 30. April 2009 – Xa ZR 92/05, BGHZ 182, 1-10 – Betrieb einer Sicherheitseinrichtung).

Wie oben im Abschnitt II. 2.1.1 dargelegt, präsentiert HAWLEY eine in sich geschlossene und gut funktionierende (Seite 86, vorletzter Absatz: „2 errors per hour“) Lösung für das Berechnen eines aktuellen Residualspektrums des Schallsignals und liefert der Fachperson somit weder aufgrund ihres Fachwissens einen Anlass, eine „Begradigung“ des Schallsignalspektrums durch Subtrahieren eines spektralen Untergrunds in Betracht zu ziehen, noch sich nach alternativen Berechnungsmethoden für das Residualspektrum im Stand der Technik umzusehen.

Sollte die Fachperson trotzdem zu den Dokumenten MATSUBARA, KLAPURI oder HOSOYA gelangen, ist nicht ersichtlich, warum sie die Berechnungsmethode mittels des findPeaks-Algorithmusfür das Residualspektrum gemäß HAWLEY verwerfen und durch Subtrahieren eines spektralen Untergrunds ersetzen sollte. Im Falle des Fachartikels KLAPURI ist bereits fraglich, ob die Fachperson dessen technische Lehre, die sich mit der Schätzung von fundamentalen Frequenzen insbesondere zum automatischen Transkribieren von Musik befasst, im Hinblick auf die Modifikation eines Musikdetektors berücksichtigen würde. Ebenso dürfte die Fachperson im Falle der Studie HOSOYAderen technische Lehre nicht zur Umgestaltung bzw. Ersetzung der Berechnung des Residualspektrums durch den findPeaks-Algorithmusnach HAWLEY heranziehen, da diese zwar eine ähnlich einfache aber, wie explizit angegeben, noch zu verbessernde fehlerbehaftete und damit nachteilige Methode für Sprachinformationsgeräte wie Mobiltelefone und Diktiergeräte mit beschränkten Rechenkapazitäten darstellt (NK4a, „4. Schlussfolgerung: Die Rauschunterdrückung ist bis zu einem gewissen Grad auch mit einer einfachen Methode dieser Art möglich. Es besteht jedoch die Möglichkeit, … was zu einer Qualitätsminderung führt. Was dieses Problem anbelangt, … zu erwarten, dass die Verwendung dieser Werte die Genauigkeit der Geräuschschätzung verbessern wird. Dies wird eine Aufgabe für zukünftige Studien sein.“).

Doch selbst bei einer hypothetischen Übertragung der technischen Lehre einer der drei genannten Dokumente auf den Musikdetektor der Dissertation HAWLEY würde die Fachperson das dortige streitpatentgemäße Residualspektrum weiterhin mit dem findPeaks-Algorithmus bestimmen und die Untergrundsubtraktion allenfalls als zusätzliche Maßnahme implementieren, statt den findPeaks-Algorithmus zu ersetzen.

Nach alledem gelangt die Fachperson ausgehend vom Stand der Technik nach HAWLEY auch unter Hinzunahme ihres Fachwissens bzw. der weiteren im Verfahren genannten Schriften nicht in naheliegender Weise zum Verfahren des geltenden Anspruchs 1. Vielmehr stellt eine solche Überlegung ausgehend von der Dissertation HAWLEY eine unzulässige rückschauende Betrachtungsweise in Kenntnis der technischen Lehre des Streitpatents dar.

2.1.3 Soweit die Klägerinnen hierzu unter Verweis auf mehrere Entscheidungen des Bundesgerichtshofs einwenden, dass es für die Fachperson auch ohne Anregung naheliegend sei, das belegte Fachwissen hinsichtlich einer Untergrundsubtraktion auf das Verfahren nach HAWLEY anzuwenden, vermag der Senat dem aus den folgenden Gründen nicht zu folgen.

Es trifft zwar zu, dass die Fachperson Anlass zur Heranziehung einer bestimmten technischen Lösung haben kann, auch wenn ein konkretes Vorbild hierfür nicht aufgezeigt werden kann. Dies setzt jedoch die Erfüllung mehrerer Bedingungen voraus, nämlich neben der Tatsache, dass diese Lösung als ein generelles, für eine Vielzahl von Anwendungsfällen in Betracht zu ziehendes Mittel ihrer Art nach zum allgemeinen Fachwissen gehörte, auch dass sich die Nutzung ihrer Funktionalität in dem zu beurteilenden Zusammenhang als objektiv zweckmäßig darstellt und dass keine besonderen Umstände vorliegen, die eine Anwendung aus fachlicher Sicht als nicht möglich, mit Schwierigkeiten verbunden oder sonst untunlich erscheinen lassen (BGH, Urteil vom 26. September 2017 – X ZR 109/15 –, BPatGE 55, 307- Spinfrequenz, Leitsatz 2 und Rn. 113 sowie BGH, Urteil vom 11. März 2014, X ZR 139/10, GRUR 2014, 647 – Farbversorgungssystem, Leitsatz und Rn. 26). Ebenso kann es für die Fachperson naheliegend sein – falls sie ausgehend von einer bestimmten technischen Lehre aus dem Stand der Technik aufgrund ihres Fachwissens Anlass hatte, nach Verbesserungsmöglichkeiten zu suchen – ein allgemein verfügbares Mittel, welches zum allgemeinen Fachwissen gehört, dieses auch ohne Anregung auf eine bekannte technische Lehre anzuwenden (BGH, Beschluss vom 13. Juli 2020 – X ZR 90/18 – Signalübertragungssystem, juris, Rn. 40 bis 49).

Ob die aus den von den Klägerinnen referenzierten Entscheidungen des Bundesgerichtshofs abgeleiteten allgemeinen Aussagen auf vorliegenden konkreten Fall anwendbar sein könnten und ob die genannten Bedingungen im vorliegenden Fall erfüllt wären, kann jedoch dahingestellt bleiben.

Denn im vorliegenden Fall hat der X. Senat des Bundesgerichtshofs – offensichtlich in Kenntnis seiner früheren, insbesondere den vorstehend zitierten Entscheidungen – abschließend und eindeutig entschieden, dass ausgehend von HAWLEY kein Anlass bestand, auch die dort offenbarte Methode durch Subtrahieren eines spektralen Untergrunds zu ergänzen, obwohl diese Maßnahme in anderen Zusammenhängen als geläufige Methode für Rauschminderung und spektrale Analyse bekannt war und damit der Gegenstand des geltenden Patentanspruchs 1 der Fachperson nicht nahegelegt ist (MFG33 = BGH, Urteil vom 16. Januar 2024 – X ZR 14/22 –, juris, Rn. 148 bis 158).

Somit können weder die von den Klägerinnen herangezogenen Entscheidungen noch die zum Nachweis der allgemeinen Fachüblichkeit der Methode des Subtrahierens eines spektralen Untergrunds – von der sowohl der erkennende Senat als auch der Bundesgerichtshof ohnedies ausgegangen sind – durch dafür eingeführte Dokumente (BOLL (NK3a), VASEGHI (MFG11), „KLAPURI II“ (MFG36), BEROUTI“ MFG37 und „OKAZAKI“ MFG38) zu einer abweichenden Beurteilung führen, so dass nach alledem das Verfahren zum Schätzen der Tonalität eines Schallsignals gemäß dem geltenden Patentanspruchs 1 gegenüber der Lehre der Dissertation HAWLEY nicht nur neu ist, sondern auch auf einer erfinderischen Tätigkeit beruht.

2.2 Auch ausgehend vom Stand der Technik nach dem Fachartikel ZHANG (MFG12) gelangt die Fachperson nicht in naheliegender Weise zum Verfahren des geltenden Patentanspruchs 1.

2.2.1 Der auf einem Konferenzbeitrag beruhende Fachartikel ZHANG beschäftigt sich ausweislich des Titels und des Abstracts mit der Analyse der Charakteristika von Schallsignalen zur Erkennung der Klangfarbe („Timbre“) von Musik, insbesondere mit der automatischen Erkennung bzw. Indizierung von Tonmerkmalen in Musikstücken.

2.2.2 Der Fachartikel ZHANG offenbart der Fachperson in Worten des geltenden Patentanspruchs 1 lediglich Folgendes: Ein

1.1Teil Verfahren zum Schätzen der Klangfarbe („Timbre“)

Tonalität eines Schallsignals, wobei das Verfahren umfasst:

Gemäß ZHANG wird nicht die Tonalität bzw. die tonale Stabilität im Sinne der zeitlichen Konstanz der Töne / Spektralwerte eines akustischen Signals bestimmt, die es ermöglichen würde Musiksignale besser von anderen Signalen zu unterscheiden (vgl. Abschnitt I. 5.2), sondern das sog. „timbre“ bzw. die Klangfarbe, unter der in der Musik üblicherweise im Wesentlichen die spezifische Zusammensetzung eines Tons aus Grund- und Oberschwingungen und ggf. Rauschanteilen verstanden wird. In ZHANG selbst wird „timbre“ als eine Eigenschaft von Schall definiert, die ein Musikinstrument von einem anderen unterscheidet, wobei es eine große Vielfalt an Instrumentenfamilien und individuellen Kategorien gebe (Seite 1, linke Spalte, 1. Introduction). Bei Timbre und Tonalität handelt es sich jedenfalls um verschiedene und voneinander unabhängige Parameter zur Charakterisierung von Audiosignalen.

1.2 Berechnen eines aktuellen Residualspektrums des Schallsignals

2.2.3

Hi1

durch Subtrahieren eines spektralen Untergrunds von einem Spektrum des Schallsignals in einem aktuellen Rahmen;

Das Berechnen eines aktuellen Residualspektrums durch Subtraktion einer Spektrumsuntergrenze ist im Artikel ZHANG nicht offenbart, was auch von den Klägerinnen nicht vorgetragen wird.

1.3Teil Erkennen von Spitzen im aktuellen ResidualsSpektrum;

Nach einer üblichen Transformation des aktuellen Rahmens i eines Schallsignals mittels einer Short Time Fourier Transformation (STFT) in den Frequenzraum wird gemäß ZHANG die instantane harmonische Spektralvariation (IHSV) berechnet,

,

wobei k die Nummer, A die Leistung einer harmonischen Spitze und K die Gesamtzahl der harmonischen Spitzen im Frequenzspektrum angibt. Dies setzt voraus, dass die Spitzen im Spektrum zunächst erkannt werden (Seite 3, linke Spalte, 2. Absatz i. V. m. Gleichung 9)

1.4Teil Berechnen einer Korrelationskarte zwischen dem aktuellen ResidualsSpektrum und einem vorherigen ResidualsSpektrum für jede erkannte Spitze; und

Zwar wird gemäß ZHANG die Berechnung einer normalisierten Korrelation zwischen den Amplituden der Spektralkomponenten zweier aufeinanderfolgender Rahmen durchgeführt (Seite 3, linke Spalte oben: „The Instantaneous Harmonic Spectral Variation is defined as the normalized correlation between the amplitude of the harmonic peaks of two adjacent frames.”), durch die Summation über alle Spitzen k = 1 bis K gibt IHSV jedoch keine Korrelation für jede erkannte Spitze an (vgl. Abschnitt I. 5.5), sondern einen einzelnen Wert für die Gesamtheit der Spitzen der jeweiligen Rahmen.

1.5Teil Berechnen einer Langzeit-Korrelationskarte basierend auf der berechneten Korrelationskarte, wobei die Langzeit-Korrelationskarte eine Tonalität im Schallsignal anzeigt.

Zwar beschreibt die aus der IHSV hervorgehende harmonische Variation (HSV), welche definiert ist als der Mittelwert der instantanen harmonischen Spektralvariation über die Dauer eines Tonsegments aus mehreren einzelnen Rahmen, ein Langzeitkorrelation. Diese basiert jedoch nicht auf einer Korrelationskarte im Sinne des Merkmals 1.4 des Streitpatents (vgl. vorangehende Ausführungen) und zeigt zudem keine Tonalität im Schallsignal an (vgl. Ausführungen zum Merkmal 1.1).

2.2.3 Da der Fachartikel ZHANG somit unbestritten nicht nur die Merkmale 1.2 und 2.2.3

Hi1

nicht, sondern auch die Merkmale 1.1 und 1.3 bis 1.5 nur teilweise offenbart, ist das Verfahren des geltenden Patentanspruchs 1 nach Streitpatent gegenüber dem Stand der Technik nach der Druckschrift ZHANG neu. Es beruht gegenüber Artikel ZHANG auch auf einer erfinderischen Tätigkeit, da es sich nicht in naheliegender Weise aus diesem ergibt.

Die technische Lehre der Druckschrift ZHANG stellt schon keinen geeigneten Ausgangspunkt für eine Fachperson dar, die das Ziel hat, ein Verfahren bereitzustellen, mit dem es möglich ist, eine bessere Differenzierbarkeit von Musiksignalen und anderen Signalen zu erreichen, da sich ZHANG mit Methoden der automatischen Erkennung von musikalischen Timbres anhand von Tonmerkmalen in Musikstücken für die automatische Indizierung von Musikklängen befasst und entgegen der Ansicht der Klägerinnen der bereits im Titel genannte zentrale Begriff „Timbre“ kein Synonym für die Tonalität eines Schallsignals darstellt (vgl. Abschnitt I. 5.2 und die Ausführungen zum Merkmal 1.1).

Doch selbst wenn die Fachperson den Artikel ZHANG heranziehen sollte, so würde sie davon ausgehend nicht auf naheliegende Weise zum Verfahren gemäß dem geltenden Patentanspruch 1 gelangen.

Denn die wesentlichen Unterschiede zwischen den aus dem Artikel ZHANG bekannten Verfahren und dem Verfahren gemäß dem geltenden Patentanspruch 1 nach Streitpatent sind nicht nur – wie die Klägerinnen einräumen – die fehlenden Merkmale 1.2 und 2.2.3Hi1, sondern es wird vor allem auch keine Korrelationskarte im Sinne des Streitpatents zwischen dem aktuellen und einem vorherigen Residualspektrum für jede erkannte Spitze berechnet, weshalb auch darauf basierend keine entsprechende Langzeit-Korrelationskarte berechnet werden kann (Teile der Merkmale 1.4 und 1.5). Nach der technischen Lehre der ZHANG wird keine Korrelation zwischen einzelnen Spitzen über die Zeit hinweg bestimmt, sondern durch die Berechnung der Summen IHSV und HSV lediglich für das Spektrum insgesamt.

Diese Unterschiede sind von grundlegender Art, und es ist kein Hinweis oder eine Veranlassung – weder in der Druckschrift ZHANG selbst noch in Kombination mit der Druckschrift MATSUBARA (NK2/MFG13) oder dem anderen im Verfahren befindlichen Stand der Technik – für die Fachperson zu erkennen, die in sich geschlossene technische Lehre der Druckschrift ZHANG zu verwerfen, und das für einen anderen Zweck entwickelte und andersgeartete Konzept des Streitpatents zu realisieren.

Die Fachperson kann somit auch ausgehend von der Druckschrift ZHANG nicht zum Verfahren des geltenden Patentanspruchs 1 gelangen, ohne erfinderisch tätig zu werden.

2.3 Ausgehend von der Druckschrift SUZUKI (NK8/MFG10) ergibt sich der Gegenstand des geltenden Patentanspruchs 1 ebenfalls nicht in naheliegender Weise aufgrund des Fachwissens oder in Zusammenschau mit weiteren verfahrensgegenständlichen Dokumenten aus dem Stand der Technik.

Wie zur Neuheit des Verfahrens des geltenden Patentanspruchs 1 in Abschnitt II. 1.1 dargelegt, offenbart das aus SUZUKI bekannte Verfahren zum Schätzen der Tonalität eines Schallsignals die Merkmale 1.3 bis 1.5 nur zum Teil, da zum einen die Spitzen im Residualspektrum nicht erkannt werden und zum anderen die Korrelationskarte nicht aus dem Residualspektrum für jede erkannte Spitze berechnet wird, sondern aus einem diesem gegenüber signifikant modifizierten Spektrum.

2.3.1 Die Fachperson hat keine Veranlassung ausgehend von der Druckschrift SUZUKI die technische Lehre der Dissertation Hawley (NK1/MFG6) zu berücksichtigen.

Zwar ist aus Hawley das Merkmal 1.3 bekannt, wonach ein Erkennen von Spitzen im aktuellen Residualspektrum vorgenommen wird, wie im Verfahren 4 Ni 10/21 (EP) festgestellt und vom Bundesgerichtshof in der Entscheidung X ZR 14/22 bestätigt wurde (MFG4, Abschnitt II. 1. C) und MFG33, Rn. 134) und u. a. zur Nichtigerklärung der erteilten Fassung geführt hat. Jedoch wird in SUZUKI ausdrücklich darauf hingewiesen, dass ein Auffinden und Nachverfolgen („tracking”) erkannter Spitzen, wie aus dem Stand der Technik bekannt, nachteilig sei, vermieden werden solle und stattdessen eine andere Vorgehensweise bevorzugt werde (Absatz 0025: „Unlike the conventional method of tracking local peaks, there is no need to consider the fluctuations of the input acoustic signal level resulting from appearance and disappearance of local peaks, therefore a speech segment can be determined with accuracy.”) i. V. m. Absatz 0016: „The pitch candidate detection unit 103 detects a pitch by tracking the local peaks detected by the harmonic Structure peak detection unit 102 in the time axis direction (frame direction).“). Bei dem Musikdetektor aus HAWLEY handelt es sich aber gerade um eine solche herkömmliche Methode, bei der Spitzen erkannt und dann nachverfolgt werden (Seite 82, Zeile 12: „peak detection in frequency followed by peak tracking in time“). Die Fachperson hat also nicht nur keinen Anlass, die Lehre SUZUKIs unter Berücksichtigung bestimmter Angaben in HAWLEY abzuwandeln, sie wird sogar ausdrücklich davon abgehalten.

Selbst wenn die Fachperson die Dissertation HAWLEY trotzdem heranziehen sollte, würde sie auch durch eine Zusammenschau nicht zum Verfahren zum Schätzen der Tonalität nach dem geltenden Anspruch 1 geführt, da in SUZUKI die Korrelationskarte nicht aus dem dortigen Residualspektrum berechnet wird, sondern aus einem diesem gegenüber in einem zusätzlichen Berechnungsschritt signifikant veränderten Spektrum, wodurch auch ein wesentlicher Teil des Merkmals 1.4 nicht offenbart ist (vgl. oben zur Neuheit Abschnitt 1.1.2). Dafür diese für die technische Lehre von SUZUKI grundsätzliche Maßnahme zu verwerfen, um das Merkmals 1.4 zu realisieren ist ebenfalls weder in SUZUKI selbst noch in Kombination mit HAWLEY eine Anregung oder Veranlassung erkennbar.

2.3.2 Ebenso hat die Fachperson keine Veranlassung ausgehend von der Druckschrift SUZUKI die technische Lehre des Fachartikels ZHANG (MFG12) zu berücksichtigen. Denn SUZUKI befasst sich mit der Detektion von harmonischen Strukturen in einem akustischen Eingangssignal, um eine genaue Erkennung von Sprachsegmenten zu ermöglichen (Abstract), ZHANG dagegen mit der Analyse der Charakteristika von Schallsignalen zur Erkennung der Klangfarbe („Timbre“) von Musik, insbesondere mit der automatischen Erkennung bzw. Indizierung von Tonmerkmalen in Musikstücken (Titel und Abstract).

Doch selbst wenn die Fachperson ungeachtet der prinzipiellen Unterschiede die beiden Druckschriften kombinieren würde, ist – angesichts der jeweiligen Unterschiede zum Gegenstand des Streitpatents – nicht zu erkennen, wie sich der Gegenstand des Anspruchs 1 des Streitpatents für die Fachperson in naheliegender Weise aus einer Zusammenschau der beiden Druckschriften ergeben sollte.

Zwar trifft es zu, dass aus ZHANG bekannt ist, einzelne Spitzen in einem Spektrum – wenn auch nicht in einem Residualspektrum – zu erkennen (Teil von Merkmal 1.3), jedoch liegt es nicht – wie die Klägerinnen meinen – auf der Hand, die Spitzenerkennung gemäß ZHANG beim Verfahren von SUZUKI nach Anwendung des Gewichtungsfaktors W(f), aber vor der Berechnung der Korrelation xcorr in die Methode von SUZUKI einzubeziehen. Vielmehr ist nicht erkennbar, warum die Fachperson eine derartige spezielle Modifikation am Verfahren von SUZUKI durchführen sollte, zumal SUZUKI ausdrücklich eine Spitzenerkennung und -verfolgung als nachteilig verwirft.

Ebenso ist ZHANG keine Anregung dafür entnehmbar, in SUZUKI die Multiplikation mit dem Gewichtungsfaktor W(f) bei der Berechnung des Residualspektrums zu verwerfen und durch die fehlenden Teile der Merkmale 1.4 und 1.5 zu verwirklichen,

2.4 Ausgehend vom Stand der Technik nach der Druckschrift LANGS (NK10/MFG29) gelangt die Fachperson ebenfalls nicht in naheliegender Weise zum Gegenstand des geltenden Anspruchs 1, was auch die Klägerinnen nicht vorgetragen haben und auch der Senat nicht erkennen kann.

2.5 Das Verfahren zum Schätzen der Tonalität eines Schallsignals nach geltendem Patentanspruch 1 erweist sich ebenso als patentfähig gegenüber dem Stand der Technik nach den weiteren im Verfahren befindlichen Dokumente, da diese weiter vom Streitpatentgegenstand abliegen als die oben merkmalsweise analysierten Entgegenhaltungen:

· Die Dokumente MFG15 „WIKIPEDIA I“, NK10/MFG29

„BAUMGARTE“ und NK11/MFG30 „Wikipedia III“ wurden von den Klägerinnen lediglich eingeführt, um die Begriffe “Extremwert“, „Tonalität“ bzw. „Stimmhaftigkeit“ zu erläutern.

· Die Dokumente NK3a “Boll“, NK6/MFG16 „Wikipedia II“, MFG11 „VASEGHI“, MFG14 „MARTIN“, MFG23 „INTEL“, MFG36 „KLAPURI II“, MFG37 „BEROUTI“, MFG38 „OKAZAKI“, und MFG40 „Kosinus-Ähnlichkeit“ wurden von den Klägerinnen eingeführt, um das allgemeine Fachwissen der Fachperson hinsichtlich der spektralen Subtraktion, der exponentiellen Glättung, der „Kosinus-Ähnlichkeit“ und der Entwicklung von Software zu belegen.

· Die Entgegenhaltungen NK5/MFG9 „HAMID“, NK7 „AMR-WB“, MFG17 „CONEXANT“, MFG18 „JELINEK I“, MFG19 „TELLABS“, MFG20 „ZINSER“, MFG21 „JELINEK II“ wurden von den Klägerinnen zum Nachweis von den in den Unteransprüchen genannten Merkmalen eingeführt.

Dazu, dass ausgehend von diesen Dokumenten die Patentfähigkeit des Verfahrens nach geltendem Patentanspruch 1 des Streitpatents in Frage gestellt werden könnte, wurde von den Nichtigkeitsklägerinnen nichts geltend gemacht und ist auch für den Senat nicht ersichtlich.

3. Da sich mithin der Gegenstand des Patentanspruchs 1 in seiner geltenden Fassung nach Hauptantrag für die Fachperson nicht in naheliegender Weise aus dem im Verfahren befindlichen Stand der Technik ergibt, gilt er als auf einer erfinderischen Tätigkeit beruhend und ist patentfähig.

4. Die vorstehenden Ausführungen zur Patentfähigkeit des Verfahrens gemäß dem geltenden Patentanspruch 1 gelten entsprechend auch für den geltenden Patentanspruch 19, dessen Gegenstand eine Vorrichtung zum Schätzen einer Tonalität eines Schallsignals betrifft und inhaltlich die gleichen im geltendem Patentanspruch 1 genannten Merkmale enthält.

Die ebenfalls angegriffenen Ansprüche 2 bis 18 und 20 bis 27, welche vorteilhafte Ausgestaltungen des Erfindungsgegenstands betreffen, sind bereits durch ihren Rückbezug auf die jeweils patentfähigen Ansprüche 1 bzw. 19 ebenfalls rechtsbeständig. Gegenteiliges haben auch die Klägerinnen weder geltend gemacht noch dargelegt.

Auf die Hilfsanträge kam es daher nicht an.

B. Nebenentscheidungen

I. Die Kostenentscheidung beruht auf § 84 Abs. 2 PatG i. V. m. §§ 91 Abs. 1, 100 Abs. 1 ZPO.

II. Die Entscheidung über die vorläufige Vollstreckbarkeit beruht auf § 99 Abs. 1 PatG i. V. m. § 709 ZPO.

III. Der Streitwert ist auf 4.500.000,- € festzusetzen.

1. Die Festsetzung des Streitwerts erfolgt gemäß § 2 Abs. 2 Satz 4 PatKostG i. V. m. § 51 Abs. 1, § 63 Abs. 2 Satz 1 GKG nach billigem Ermessen.

Nach ständiger Rechtsprechung ist im Allgemeinen der gemeine Wert des Patents bei Erhebung der Nichtigkeitsklage zuzüglich des Betrags der bis dahin entstandenen Schadensersatzforderungen maßgeblich (BGH GRUR 2022, 432 Rn. 9 – Nichtigkeitsstreitwert IV). Hierfür kann regelmäßig von dem Streitwert eines auf das Streitpatent gestützten Verletzungsprozesses ausgegangen werden kann. Da mit der erstrebten Vernichtung des Streitpatents im Nichtigkeitsverfahren der Patentverletzungsklage die Grundlage entzogen werden soll, beziffert der Streitwert des Patentverletzungsverfahrens grundsätzlich das Interesse des Nichtigkeitsklägers und damit die untere Grenze des Streitwerts für das Patentnichtigkeitsverfahren (BGH GRUR 2011, 757 Rn. 2 – Nichtigkeitsstreitwert; BPatG GRUR 2014, 1135, 1136 - Zwischenwirbelimplantat). Der in der Regel über das Interesse des Nichtigkeitsklägers hinausgehende gemeine Wert des Patents, insbesondere im Hinblick auf die Eigennutzung des Streitpatents durch den Patentinhaber, wird mangels anderer Anhaltspunkte regelmäßig mit einem Zuschlag von 25 % berücksichtigt (vgl. BGH GRUR 2024, 568 Rn. 9 – Nichtigkeitsstreitwert V; GRUR 2021, 1105 Rn. 10 f. – Nichtigkeitsstreitwert III).

Ist das Streitpatent bereits Grundlage eines anhängigen bzw. wie hier mehrerer anhängiger Verletzungsstreitverfahren, legt der X. Senat des Bundesgerichtshofs sowie die Senate des Bundespatentgerichts in Ermangelung anderer Anhaltspunkte in ständiger Rechtsprechung regelmäßig die Summe der Streitwerte der Verletzungsverfahren zugrunde (BGH, Beschluss vom 13. Juli 2021 – X ZR 84/20; GRUR 2021, 1105 Rn. 19 – Nichtigkeitsstreitwert III; Beschluss vom 17.9.2019 – X ZR 17/19 – Anordnung einer ergänzenden Prozesskostensicherheit; Beschluss vom 16.2.2016 – X ZR 110/13 Rn. 10 – Anfechtung der Kostenentscheidung im Patentnichtigkeitsverfahren; BPatG, Urteil vom 5. März 2024 – 7 Ni 11/23 (EP); Beschluss vom 15. Mai 2024 – 5 Ni 3/23; Urteil vom 16.9.2022 – 4 Ni 12/21 (EP); Beschluss vom 16.12.2021 – 6 Ni 46/20 (EP)). Sie bestimmen den wirtschaftlichen Wert des Streitpatents mit. Anders liegt der Fall, wenn separate Verletzungsverfahren gegen Konzerngesellschaften wegen der gleichen Ausführungsform geführt werden. Eine Addition scheidet in diesem Fall aus (vgl. BGH, Beschluss vom 13. Juli 2021 – X ZR 84/20 Rn. 1; Beschluss vom 16. Februar 2016, X ZR 110/13 Rn. 10; BPatG Beschluss vom 5. Juni 2024 – 5 Ni 8/23 (EP); Urteil vom 20. September 2023 – 8 Ni 14/23 (EP)).

2. Der Einwand der Klägerin zu 2), es sei willkürlich, den endgültigen Streitwert entsprechend den in unterschiedlicher Höhe festgesetzten vorläufigen Streitwerten (BPatG 4 Ni 71/22 (EP): 1.250.000,- €; 4 Ni 17/23 (EP): 2.187.500,- €) festzusetzen, geht fehl. Zum einen hat der Senat ein derartiges Ansinnen nie geäußert, zum anderen kamen die unterschiedlichen Werte der vorläufigen Streitwerte deshalb zu Stande, weil der Erkenntnisstand des Senats im jeweiligen Zeitpunkt der Beschlussfassung in Bezug auf die Anzahl der Verletzungsverfahren ein anderer war und deshalb unter Anwendung der ständigen Rechtsprechung des Bundesgerichtshofes und der anderen Senate ein anderer – vorläufiger – Streitwert festgesetzt wurde.

3. Soweit die Klägerinnen der Auffassung sind, der Streitwert des Nichtigkeitsverfahrens dürfe sich nicht an den Streitwerten der Verletzungsverfahren orientieren, sondern müsse sich vielmehr an den (potentiellen) Lizenzgebühren orientieren, die Lizenznehmer zu zahlen hätten, führt dies vorliegend zu keiner anderen Beurteilung der Sach- und Rechtslage.

a) Eine anderweitige Festsetzung eines Streitwerts in einem Nichtigkeitsverfahren ist allerdings von Rechts wegen nicht ausgeschlossen. Lediglich mangels anderer Anhaltspunkte orientiert sich die Rechtsprechung an den Streitwerten der Verletzungsverfahren. Dass diese Angaben stets bzw. im vorliegenden Verfahren gänzlich unzutreffend wären und allein deshalb eine andere Sichtweise rechtfertigen würde, vermag den Senat nicht zu überzeugen. Denn es ist die Verletzungsklägerin und Patentinhaberin selbst, die wesentlichen Einfluss auf den im Verletzungsverfahren festgesetzten Streitwert hat. Ferner ist dem gesonderten Beschluss des Bundesgerichtshofes vom 16. Januar 2024, X ZR 14/22, mit welchem er in dem Nichtigkeitsverfahren über das Streitpatent den Streitwert für beide Instanzen auf 7,4 Millionen Euro festgesetzt hat, nicht zu entnehmen, dass in jenen Verfahren andere Grundsätze der Streitwertberechnung zum Tragen gekommen wären.

b) Auch der Umstand, dass es sich vorliegend wohl um ein standardessentielles Streitpatent handeln soll, stellt den hier vertretenen Ansatz grundsätzlichen nicht in Frage. So wie dieser Umstand für sich genommen nicht dazu führt, dass ein höherer Streitwert angezeigt wäre (vgl. BGH, Beschluss vom 11. Mai 2021 – X ZR 23/21 –, Rn. 12, juris – Nichtigkeitsstreit III), führt dies auch nicht dazu, dass aufgrund dieses Umstandes der Streitwert zwingend nach einer anderen Methode zu berechnen wäre.

Der gemeine Wert des Streitpatents drückt sich dadurch aus, dass konzernverschiedene Unternehmen zumindest vermeintlich in Form von unterschiedlichen Ausführungsformen von der technischen Lehre des Streitpatents Gebrauch machen. Insoweit ist es konsequent, mangels anderer Anhaltspunkte, im Falle von wirtschaftlich bedeutsamen Patenten die Streitwerte von unterschiedlichen Verletzungsverfahren zu berücksichtigen und zu addieren. Die jeweiligen Umstände des Einzelfalls können im Rahmen des Verletzungsverfahren Berücksichtigung finden, wie dies auch die unterschiedlichen Streitwerte der fünf Verletzungsverfahren verdeutlichen. Diese variieren von 250.000,- € bis 1.000.000,- €.

In derartigen Verfahren kann eine ungleiche Kostenbelastung der Parteien gegeben sein, wenn dem beklagten Patentinhaber eine Mehrzahl von Klägern gegenübersteht. Die ungleiche Kostenbelastung ist eine Folge der Ausgestaltung der Patentnichtigkeitsklage als Popularklage und der allgemein anerkannten Grundsätze, nach denen der Streitwert im Patentnichtigkeitsverfahren zu bestimmen ist. Der Wert wird für den einzelnen Kläger nicht dadurch reduziert, dass noch weitere Kläger vorhanden sind. Dies folgt schon daraus, dass die Klagen auch unabhängig voneinander erhoben werden können und sich auch nach der üblichen Verbindung zu gemeinsamer Verhandlung und Entscheidung unterschiedlich entwickeln können. Diese Konsequenz der dargelegten rechtlichen Ausgangslage, die keinen Ansatz für Billigkeitserwägungen im Einzelfall bietet, haben die Parteien hinzunehmen; eine Korrektur bliebe dem Gesetzgeber vorbehalten (BGH GRUR 2013, 1287 Rn. 9 – Nichtigkeitsstreitwert II).

c) Eine Festsetzung eines Streitwerts an Hand von (potentiellen) Lizenzgebühren scheidet vorliegend schließlich deshalb aus, weil die Parteien im gesamten Verfahren diese Auffassung erst in der mündlichen Verhandlung vertreten haben und zu den tatsächlichen Umständen einer Lizenzhöhe, -praxis und -umstände keine Tatsachen vorgetragen haben. Dies führt dazu, dass der Senat mangels anderer Anhaltspunkte auf die Angaben in den Verletzungsverfahren zurückgreifen musste.

4. Unter Anwendung der obigen Grundsätze ergibt sich ein Streitwert in Höhe von 4.500.000,- €. Dieser Betrag berücksichtigt die Streitwertangabe der Nichtigkeitsbeklagten in den Verletzungsverfahren sowie einen Zuschlag von 25 %.

Die Streitwerte in den vier parallelen Verletzungsverfahrens vor dem Landgericht X … sowie vor dem Landgericht Y … waren entsprechend den unstreitigen Angaben der Beklagten im Schriftsatz vom 10. Mai 2024 zu addieren (insgesamt 3.600.000,- €). Es ist mangels gegenteiliger Angaben davon auszugehen, dass es sich um unterschiedliche Ausführungsformen handelt.

Diesem Betrag ist im Hinblick auf die Eigennutzung des Streitpatents durch die Patentinhaberin ein Zuschlag von 25 % (900.000,- €) hinzuzufügen. Etwas anderes haben die Parteien nicht vorgetragen.