ROZPOZNÁNÍ PARALINGVISTICKÝCH SIGNÁLŮ V ŘEČOVÉM PROJEVU

VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY

FAKULTA ELEKTROTECHNIKY A KOMUNIKAČNÍCH TECHNOLOGIÍ ÚSTAV TELEKOMUNIKACÍ FACULTY OF ELECTRICAL ENGINEERING AND COMMUNICATION DEPARTMENT OF TELECOMMUNICATIONS

ROZPOZNÁNÍ PARALINGVISTICKÝCH SIGNÁLŮ V ŘEČOVÉM PROJEVU RECOGNITION OF PARALINGUISTIC SIGNALS IN UTTERANCE

DIPLOMOVÁ PRÁCE MASTER'S THESIS

AUTOR PRÁCE

Bc. JAN MAŠEK

AUTHOR

VEDOUCÍ PRÁCE SUPERVISOR

BRNO 2010

Ing. HICHAM ATASSI

VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ Fakulta elektrotechniky a komunikačních technologií Ústav telekomunikací

Diplomová práce magisterský navazující studijní obor Telekomunikační a informační technika Student: Ročník:

Bc. Jan Mašek 2

ID: 83477 Akademický rok: 2009/2010

NÁZEV TÉMATU:

Rozpoznání paralingvistických signálů v řečovém projevu POKYNY PRO VYPRACOVÁNÍ: Navrhněte a zrealizujte v prostředí Matlab algoritmus, který bude schopen rozpoznat předem definované paralingvistické stavy (smích, pláč a další). Porovnejte různé metody předzpracování pro výpočet příznaků a různé metody klasifikace. Získané výsledky vhodným grafickým a numerickým způsobem reprezentujte. DOPORUČENÁ LITERATURA: [1] Psutka J.. Komunikace s počítačem mluvenou řečí. Academia, Praha 1995. [2] Psutka J., Müller L., Matoušek J., Radová V.. Mluvíme s počítačem česky. Academia, Praha 2006. [3] Sigmund M.. Analýza řečových signálů. Skripta, VUT, Brno 2000. [4] R. Duda, P. Hart, D. Stork, Pattern Classification, druhé vydání. Wiley, 2003. Termín zadání:

29.1.2010

Termín odevzdání:

Vedoucí práce:

Ing. Hicham Atassi

26.5.2010

prof. Ing. Kamil Vrba, CSc. Předseda oborové rady

UPOZORNĚNÍ: Autor diplomové práce nesmí při vytváření diplomové práce porušit autorská práva třetích osob, zejména nesmí zasahovat nedovoleným způsobem do cizích autorských práv osobnostních a musí si být plně vědom následků porušení ustanovení § 11 a následujících autorského zákona č. 121/2000 Sb., včetně možných trestněprávních důsledků vyplývajících z ustanovení části druhé, hlavy VI. díl 4 Trestního zákoníku č.40/2009 Sb.

Abstrakt Tento dokument popisuje tři metody pro klasifikaci paralingvistických výrazů jako smích a pláč z každodenních rozhovorů analýzou zvukového signálu. Pro tento účel byla vytvořena databáze nahrávek. Protože se dnes často setkáváme i s hudbou, byly do databáze začleněny i stavy: řeč, hudba, hudba se zpěvem a řeč s hudbou v pozadí. Extrakce příznaků, redukce příznaků a klasifikace jsou společné kroky v rozpoznání pro všechny tři popsané metody. Rozdíl metod spočívá v samotné klasifikaci. První metoda využívá přímého přístupu a klasifikuje všechny třídy najednou. Druhá metoda využívá postupnou klasifikaci ve stromové struktuře, která se skládá z pěti dílčích klasifikátorů. Poslední metoda využívá klasifikaci každé z dvojic tříd samostatně. Nejlepší příznaky pro každou z dílčích klasifikací byly identifikovány využitím statistické metody F-poměru a pro každou klasifikaci byly použity Gaussovy smíšené modely. Klíčová slova: paralingvistika, databáze, příznaky, předzpracování, klasifikace, GMM, rozpoznání, Matlab, Matlab Simulink

F-poměr,selekce,

Abstract This document describes the three methods for the detection and classification of paralinguistic expressions such as laughing and crying from usual speech by analysis of the audio signal. The database of records was originally designed for this purpose. When analyzing everyday dialogs, music might be included, so the database was extended by four new classes as speech, music, singing with music and usual speech with background music. Feature extraction, feature reduction and classification are common steps in recognizing for all three methods. Difference of the methods is given by classification process in detail. One classification of all six classes at once is proposed in the first method called straight approach. In the second method called decision tree oriented approach we are using five intuitive sub classifiers in the tree structure and the final method uses for classification emotion coupling approach. The best features were reduced by feature evaluation using F-ratio and GMM classifiers were used for the each classification part. Keywords: paralinguistics, database, features, preprocessing , F-ratio, selection, classification, GMM, recognition, Matlab, Matlab Simulink

MAŠEK, J. Rozpoznání paralingvistických signálů v řečovém projevu. Brno: Vysoké učení technické v Brně, Fakulta elektrotechniky a komunikačních technologií, 2010. 61 s. Vedoucí diplomové práce Ing. Hicham Atassi.

Prohlášení Prohlašuji, že svou diplomovou práci na téma „Rozpoznání paralingvistických signálů v řečovém projevu“ jsem vypracoval samostatně pod vedením vedoucího diplomové práce a s použitím odborné literatury a dalších informačních zdrojů, které jsou všechny citovány v práci a uvedeny v seznamu literatury na konci práce. Jako autor uvedené diplomové práce dále prohlašuji, že v souvislosti s vytvořením této diplomové práce jsem neporušil autorská práva třetích osob, zejména jsem nezasáhl nedovoleným způsobem do cizích autorských práv osobnostních a jsem si plně vědom následků porušení ustanovení § 11 a následujících autorského zákona č. 121/2000 Sb., včetně možných trestněprávních důsledků vyplývajících z ustanovení § 152 trestního zákona č. 140/1961 Sb.

V Brně dne

…………….

............................................ podpis autora

Poděkování Děkuji vedoucímu diplomové práce Ing. Hichamu Atassimu, za velmi užitečnou metodickou pomoc a cenné rady při zpracování práce.

V Brně dne

…………….

............................................ podpis autora

Seznam obrázků Obr. 2.1: Proces rozpoznání vzorů v řeči....................................................................................... 5 Obr. 2.2: Úspěšnost klasifikace číslovek na původní a vylepšené příznakové sadě v závislosti na zašuměném kanále. ...................................................................................................................... 6 Obr. 2.3: Úspěšnost klasifikace pěti emocí před redukcí a po redukci příznaků. ......................... 7 Obr. 2.4: Úspěšnost klasifikace šesti emocí v závislosti na počtu použitých příznaků. ................ 7 Obr. 2.5: Úspěšnost klasifikace sedmi emocí v závislosti na počtu gaussových funkcí. ............... 8 Obr. 2.6: Postup při rozdělení klasifikace hudba/řeč. ................................................................... 9 Obr. 2.7: Závislost kmitočtu v melovské škále na kmitočtu v lineární Hz škále. ......................... 12 Obr. 2.8: Banka 20 filtrů: a) v melovské škále, b) v původní Hertz škále. ................................... 13 Obr. 2.9: Postup výpočtu MFCC graficky..................................................................................... 14 Obr. 2.10: Výsledek výpočtu 4 Hz ME modulační energie pro hudební a řečový signál............. 15 Obr. 2.11: Výsledek výpočtu 4 Hz MCME mel-kepstrální modulační energie pro hudební a řečový signál................................................................................................................................ 16 Obr. 3.1: Pravidla pojmenování nahrávek v databázi. ................................................................ 21 Obr. 3.2: Postup klasifikace při prvním experimentu. ................................................................ 23 Obr. 3.3: Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí. ........................................................ 23 Obr. 3.4: Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí. ........................................................ 24 Obr. 3.5: Závislost kvality příznaků na jejich pozici v redukované matici. .................................. 24 Obr. 3.6: Postup klasifikace při druhém experimentu. ............................................................... 26 Obr. 3.7: Závislost kvality příznaků na jejich pozici v redukované matici. .................................. 27 Obr. 3.8: Struktura a nastavení klasifikátorů pro druhý experiment. ......................................... 27 Obr. 3.9: Postup klasifikace při třetím experimentu. .................................................................. 29 Obr. 3.10: Kvalita příznaků v závislosti na jejich pořadí v redukované matici pro jednotlivé klasifikační dvojice. ..................................................................................................................... 30 Obr. 3.11: Nastavení a výsledky jednotlivých klasifikátorů pro třetí experiment....................... 31 Obr. 4.1: Program pro rozpoznání nahrávek v prostředí Matlab: .............................................. 34 Obr. 4.2: Model prvního experimentu pro rozpoznání v prostředí Matlab simulink. ................ 35 Obr. 4.3: Model druhého experimentu pro rozpoznání v prostředí Matlab simulink. ............... 36 Obr. 4.4: Model třetího experimentu pro rozpoznání v prostředí Matlab simulink. .................. 36 Obr. 5.1: Model pro výpočet MFCC v prostředí Matlab simulink. .............................................. 37 Obr. 5.2: Podsystém pro výpočet MFCC_05 v prostředí Matlab simulink. ................................. 37

Seznam tabulek Tab. 2.1: Úspěšnost klasifikace řeč/hudba pro použité databáze a přístupy. .................. 8 Tab. 2.2: Úspěšnost klasifikace hudba/řeč: ...................................................................... 9 Tab. 3.1: Podrobnosti o složení databáze ....................................................................... 21 Tab. 3.2: Vytvořené funkce pro nástroj Emotional......................................................... 22 Tab. 3.3: Použité příznaky a jejich předzpracování ........................................................ 23 Tab. 3.4: Přehled deseti nejlepších příznaků pro první experiment ............................... 24 Tab. 3.5: Matice záměn pro první experiment: .............................................................. 25 Tab. 3.6: Přehled deseti nejlepších příznaků pro druhý experiment ............................. 28 Tab. 3.7: Matice záměn pro druhý experiment: ............................................................. 28 Tab. 3.8: Přehled deseti nejlepších příznaků pro třetí experiment ................................ 32 Tab. 3.9: Matice záměn pro třetí experiment: ............................................................... 32 Tab. 3.10: Počet dílčích klasifikátorů a celkový počet použitých příznaků ..................... 33 Tab. 3.11: Paměťové nároky jednotlivých klasifikátorů ................................................. 33 Tab. 3.12: Matice záměn všech experimentů:................................................................ 33

1

Obsah 1.

Úvod .......................................................................................................................... 4

2.

Současný stav problematiky ..................................................................................... 5 2.1

Proces rozpoznání vzorů .................................................................................... 5

2.2

Rozbor problematiky .......................................................................................... 6

2.3

Předzpracování ................................................................................................. 10

2.3.1

Normalizace .............................................................................................. 10

2.3.2

Preemfáze ................................................................................................. 10

2.3.3

Segmentace............................................................................................... 10

2.4

2.4.1

Energie signálu .......................................................................................... 11

2.4.2

Lineární predikční koeficienty - LPC .......................................................... 11

2.4.3

Lineární predikční kepstrální koeficienty - LPCC....................................... 11

2.4.4

Mel-frekvenční kepstrální koeficienty - MFCC.......................................... 12

2.4.5

Percepční lineární prediktivní analýza - PLP ............................................. 14

2.4.6

Základní tón řeči - F0 ................................................................................. 14

2.4.7

Formantové frekvence - Fx ........................................................................ 14

2.4.8

Modulační energie na 4 Hz - ME ............................................................... 15

2.4.9

Mel-kepstrální modulační energie na 4 Hz - MCME ................................. 16

2.5

Selekce příznaků ............................................................................................... 17

2.5.1

Analýza hlavních komponent - PCA .......................................................... 17

2.5.2

Lineární diskriminační analýza - LDA ........................................................ 17

2.5.3

F-poměr..................................................................................................... 17

2.6

3.

Výpočet příznaků.............................................................................................. 11

Klasifikátory ...................................................................................................... 18

2.6.1

Neuronové sítě.......................................................................................... 18

2.6.2

Metoda k nejbližších sousedů - kNN......................................................... 19

2.6.3

GMM ......................................................................................................... 19

2.6.4

SVM ........................................................................................................... 19

Praktická část .......................................................................................................... 20 3.1

Projekt MetaCentrum ...................................................................................... 20

3.2

Databáze nahrávek........................................................................................... 21

3.3

Nástroj „Emotional“ ......................................................................................... 22

3.4

Experiment č. 1................................................................................................. 23

3.5

Experiment č. 2................................................................................................. 26 2

3.6

Experiment č. 3................................................................................................. 29

3.7

Experimenty – souhrn ...................................................................................... 33

4.

Experimenty v prostředí Matlab ............................................................................. 34

5.

Experimenty v reálném čase v prostředí Simulink ................................................. 35

6.

5.1

„Embedded” funkce ......................................................................................... 35

5.2

Modely experimentů........................................................................................ 35

5.3

Simulink - model MFCC .................................................................................... 37

Závěr ....................................................................................................................... 38

Literatura ........................................................................................................................ 39 Seznam použitých zkratek, symbolů a veličin................................................................. 41 Příloha č. 1 ...................................................................................................................... 43 Příloha č. 2 ...................................................................................................................... 47

3

1.

Úvod

Zpracování řeči v sobě zahrnuje oblasti jako analýzu, syntézu, zvýraznění a kódování řeči. Je dnes velice důležitou součástí našeho života. Navíc dnešní nástroje pro analýzu řeči dokážou s velkou pravděpodobností určit identitu mluvčího, jeho psychologické a fyziologické vlastnosti a sdělované informace. Smysl této práce je především v obohacení analytických nástrojů o paralingvistické signály. Paralingvistika zkoumá součásti řeči, které se nedají vyjádřit písemným projevem. Tyto součásti se v mluvené řeči mohou objevovat velice často. Může se jednat například o rozdíly ve výšce hlasu, tempu, artikulaci, intenzitě, pomlkách. Také sem můžeme zařadit smích, pláč, vzdychy a sténání. Často se stává, že v případě rozpoznání emocí se některé paralingvistické stavy chybně klasifikují například jako vztek. Při analýze videonahrávek se často setkáváme i s hudbou. Proto se budeme v této práci zabývat mimo jiné i klasifikací smíchu, pláče a hudby. Cílem práce „Rozpoznání paralingvistických signálů v řečovém projevu“ je navrhnout postup, jakým rozpoznat v prostředí Matlab předem definované stavy (neutrální řeč, smích, pláč, hudbu, zpěv a řeč v hudbě). Pro splnění zadání bude nutné vytvořit vstupní databázi a nastudovat vhodné metody v oblasti zpracování řeči. V konečné fázi se jedná především o popis metod předzpracování, selekci důležitých příznaků, výběr vhodných klasifikátorů a jejich porovnání. Druhá kapitola bude věnována teorii, kde budou probrány metody klasifikace pro rozpoznávání řeči, dále diskuse k některým ze známých řešení, a nakonec příklady využívaných příznaků a klasifikátorů. Třetí kapitola popíše praktickou část této práce, jako je databáze, experimenty, výsledky úspěšnosti rozpoznání řeči v závislosti na použitých příznacích, klasifikátorech a jejich porovnání. Čtvrtá kapitola popíše program pro rozpoznání paralingvistických signálů v prostředí Matlab, pátá kapitola popíše modely experimentů pro rozpoznání v reálném čase a v poslední kapitole bude následovat především zhodnocení dosažených výsledků.

4

2.

Současný stav problematiky

2.1

Proces rozpoznání vzorů

Rozpoznání vzorů v řeči je procesem, při němž se snažíme vstupní zvukovou nahrávku zařadit do předem hledané třídy, viz obr. 2.1. Obecně může jít například o klasifikaci emocí, pohlaví, povelů, jazyka nebo mluvčího. Jde o složitou úlohu, protože řečový signál se značně liší od mluvčího i od promluvy. Ani pro stejnou promluvu a řečníka nebude řečový signál shodný pro dva po sobě nahrané záznamy. Především se jedná o složitý proces, jakým lidské tělo řeč produkuje. Faktory, které ovlivňují tvorbu řeči, nemusejí být závislé pouze na hlasovém ústrojí, ale lidské tělo může během promluvy reagovat i na vnější podněty. Základem procesu rozpoznání vzorů je rozsáhlá databáze nahrávek, která je vhodně rozdělena podle hledaných tříd. Bývá pravidlem, že větší část databáze je využita pro trénování, menší pak k testování klasifikátoru. Druhým krokem bývá předzpracování zvukové nahrávky. Tím je myšlena především normalizace, preemfáze a segmentace signálu. Úkolem je upravit původní signál do podoby vhodné pro další zpracování. Nejdůležitějším krokem je výpočet příznaků. Může se jednat o příznaky v časové, spektrální a kepstrální oblasti, nebo o příznaky transkripční. Snahou je vypočítat co nejvíce příznaků, které dokážou nejlépe oddělit dané třídy. Můžeme se inspirovat jinými projekty, které se zabývají danou problematikou, nebo zvolit příznaky vlastní. Vypočtené příznaky pak tvoří tzv. „vektor příznaků“, jehož délka určuje počet dimenzí, mezi kterými bude klasifikátor hledat odpovídající třídu. Pro redukci dimenze příznaků slouží blok „Selekce příznaků“. Většina příznaků mezi sebou může být korelována a obsahovat tak redundantní informaci. Redundance může snižovat úspěšnost klasifikátoru a zvyšovat výpočetní náročnost. Výstupem je výběr těch nejlepších příznaků. Může se jednat o výběr části původních nebo odvozených příznaků. Úkolem posledního bloku je najít ke vstupní nahrávce odpovídající třídu. Vstupem klasifikátoru je vektor příznaků a výstupem informace, která reprezentuje danou třídu. Pro klasifikaci lze použit například SVM, LDA, NN, HMM nebo GMM.

Obr. 2.1: Proces rozpoznání vzorů v řeči. 5

2.2

Rozbor problematiky

V tomto rozboru se budeme zabývat některými metodami v oblasti rozpoznání řeči, které nejsou zatížené šumem a závislé na mluvčím. Pozornost bude věnována vybraným odborným článkům, které se zabývají především rozpoznáním řeči/hudby a rozpoznáním emocí. Rozpoznání slov pro malou množinu vzorů není příliš těžkým úkolem. V publikaci [13] se dvojice J. Hai a E. M. Joo snaží rozpoznat 10 anglických číslic. Databázi tvoří 2400 nahrávek od 16 mluvčích (8 mužů a 8 žen). Od každého mluvčího pro jednu číslici existuje 15 nahrávek. Deset nahrávek je využito pro trénování, pět pro testování. Úkolem bylo porovnat úspěšnost klasifikace pro dvě sady příznaků, vylepšenou 24 LPC + 24 ∆LPC a původní sadu 12 LPC. Pro redukci příznaků byla využita metoda LDA a jako klasifikátor HMM. Průměrná úspěšnost klasifikace pro původní sadu dosahuje 93%, pro vylepšenou pak až 97%, viz obr. 2.2. Pro test robustnosti příznaků autoři prezentovali výsledky pro signály zatížené šumem (SNR).

Úspěšnost klasifikace [%]

Původní sada

Vylepšená sada

100 90 80 70 60 50 40 Čistý

SNR=20

SNR=10

Obr. 2.2: Úspěšnost klasifikace číslovek na původní a vylepšené příznakové sadě v závislosti na zašuměném kanále. Těžším úkolem než rozpoznání slov je rozpoznání emocí. Například L. Vidrascu a L. Devillers [22] se rozhodli rozpoznávat 5 emocí (hněv, strach, smutek, úlevu a neutrální promluvu). Do databáze byly použity nahrávky z call centra záchranné služby. Databáze obsahuje konverzace mezi 688 volajícími (271 mužů a 513 žen) a 7 operátory (3 muži a 4 ženy). 450 nahrávek bylo využito pro trénování, zbytek pro testování. Nejdříve byly vypočteny příznaky - například MFCC, F0, Formanty - frekvence a šířky pásma, Energie, Jitter, Shimmer, NHR a HNR a příznaky získané z transkripce - například smích, pláč, délka výpovědi, počet slov za čas, počet zkrácených a nesrozumitelných slov. Celkem se jednalo o 197 příznaků a jako klasifikátor bylo využito SVM. Úspěšnost pro tak vysoký počet příznaků byla přibližně 40%. Po redukci příznaků bylo vybráno 25 nejlepších (15 automatických bez MFCC a 10 poloautomatických) a průměrná úspěšnost klasifikace pak vzrostla na 57%. Klasifikátor nejlépe rozpoznával úlevu - 68% a nejhůře pak strach - 49%, viz obr. 2.3. 6

Úspěšnost klasifikace [%]

Všechny příznaky

Po redukci

70 65 60 55 50 45 40 35 30 Strach

Hněv

Smutek

Úleva

Neutrální řeč

Obr. 2.3: Úspěšnost klasifikace pěti emocí před redukcí a po redukci příznaků. Dalšími, kdo se pokusil o rozpoznání emocí, byly K. Soltani a R. N. Ainon [21]. Tentokrát měli za úkol rozpoznat emocí šest (neutrální promluvu, hněv, nudu, strach, štěstí a smutek). Jako základ byla použita Berlínská databáze emoční řeči (Berlin Emotional Speech Database), která obsahuje 600 nahrávek od 10 mluvčích (5 mužů a 5 žen) [6]. Každý z mluvčích namluvil 10 vět s 6 emocemi. Při výpočtu příznaků zde byly probrány tři experimenty. Pro první experiment bylo vypočteno 16 příznaků, pro druhý 12 a pro poslední 8 nejlepších příznaků (F0 - maximum, rozsah a střední hodnota, F1 maximum a standardní odchylka, Energie - maximum a standardní odchylka, tempo řeči). Jako klasifikátor byla využita neuronová síť se zpětným šířením chyb (backpropagation neural network) s architekturou 8x20x6. Z experimentů vyplývá, že pro dané podmínky je úspěšnost klasifikace vyšší při nižším počtu uvažovaných příznaků. Průměrná úspěšnost klasifikace pro 16 příznaků byla 71%, pro 12 příznaků 74% a pro 8 nejlepších příznaků 77%. Nejhůře se klasifikoval strach a nejlépe pak neutrální promluva a hněv, což ukazuje obr. 2.4.

Úspěšnost klasifikace [%]

16 příznaků

12 příznaků

8 příznaků

90 85 80 75 70 65 60 Hněv

Nuda

Strach

Štěstí

Smutek

Neutrální řeč

Obr. 2.4: Úspěšnost klasifikace šesti emocí v závislosti na počtu použitých příznaků.

7

V publikaci [4] se A. B. Kandali, A. Routray a T. K. Basu pokoušeli o rozpoznání 7 emocí (neutrální promluva, hněv, zklamání, strach, štěstí, smutek a překvapení), kde jazykem použitým pro klasifikaci byla Ásámština. Databáze obsahuje kratší nahrávky od 27 mluvčích (14 mužů a 13 žen) a každý mluvčí nahrál 5 nahrávek pro každou emoci. Pro trénování byly využity nahrávky od poloviny mluvčích, na druhé polovině se klasifikátor testoval. V předzpracování byla provedena preemfáze s parametrem α=0,97 a nahrávky byly segmentovány hammingovým oknem s délkou 23,22ms. Pro klasifikaci bylo zvoleno 43 příznaků (14 MFCC, 14 ∆MFCC, 14 ∆∆MFCC a logaritmus energie). Pro zvolený GMM klasifikátor s 12 gaussovými funkcemi dosahovala průměrná úspěšnost rozpoznání 72%, avšak úspěšnost klasifikace u překvapení vycházela pouze 29%. Na obr. 2.5 je ukázán vliv počtu gaussových funkcí na úspěšnost klasifikace.

Úspěšnost klasifikace [%]

6 GMM

9 GMM

12 GMM

100 80 60 40 20 Hněv

Zklamání

Strach

Štěstí

Smutek

Překvapení Neutrální řeč

Obr. 2.5: Úspěšnost klasifikace sedmi emocí v závislosti na počtu gaussových funkcí. Z. H. Fu a J. F. Wang vypracovali pojednání [11], které se zabývá rozpoznáním mezi řečí a hudbou. Rozhodli se použít dvě databáze. První databáze s vlastními nahrávkami ZX-MIX a druhá Scheirerova a Slaneyova [19] označovaná jako CLN-MIX. Dohromady se jedná asi o 37 minut řečového a 29 minut hudebního projevu. Při výpočtu příznaků uvažovali o dvou přístupech. V prvním přístupu využily pouze MFCC (MFCC + ∆MFCC + ∆∆MFCC) a v druhém sadu jiných příznaků, například APD, RTPD, modulační energii na 4Hz, logaritmy odchylek RMS, spektrálního těžiště a spektrálního toku. Rozpoznání bylo prováděno po 10 výpočetních krocích v klasifikátoru GMM. Průměrná úspěšnost klasifikace byla pro ZX-MIX 93,7% a pro CLN-MIX 92,6%, podrobnosti lze nalézt v tab. 2.1. Tab. 2.1: Úspěšnost klasifikace řeč/hudba pro použité databáze a přístupy. První přístup

Druhý přístup

Úspěšnost klasifikace

Řeč

Hudba

Řeč

Hudba

CLN-MIX

91,56%

89,91%

93,78%

91,48%

ZX-MIX

99,91%

64,41%

94,19%

93,13%

8

Rozpoznání mezi řečí a hudbou od autorů J. Pinquier, J. L. Rouas a R. A. Obrecht [16] bude poslední ukázkou pro rozbor problematiky. Neprobíhá zde jedna klasifikace mezi řečí a hudbou ale klasifikace dvě. První rozpoznává mezi řečovým/neřečovým obsahem a druhá mezi hudebním/nehudebním obsahem. Pro první klasifikaci byla využita soukromá databáze s promluvami o celkové délce 30 minut a pro druhou klasifikaci pak databáze RFI (Radio France International) o celkové délce 8 hodin [7]. Pro trénování bylo využito 75% databáze. Délka okna při předzpracování byla zvolena na 10 ms. Pro první klasifikaci jsme využili kepstrální koeficienty, modulační energii na 4Hz a modulační entropii. Kepstrální příznaky klasifikujeme GMM klasifikátorem a spolu s ostatními příznaky určíme, jestli nahrávka řeč obsahuje nebo ne. Při druhé klasifikaci se postupuje naprosto stejně, jen se pro detekci hudby využívají spektrální koeficienty. Dalšími příznaky pro detekci hudby jsou počet segmentů a délka trvání segmentu. Při klasifikaci u řeči platí, že modulační energie na 4Hz a entropie jsou vyšší, u hudby pak platí, že počet segmentů je nižší a délka trvání segmentu vyšší. První klasifikace dosahuje úspěšnosti až 94% a druhá 89,8%, podrobnosti v tab. 2.2. Na obr 2.6 lze sledovat postup při této klasifikaci.

Obr. 2.6: Postup při rozdělení klasifikace hudba/řeč.

Tab. 2.2: Úspěšnost klasifikace hudba/řeč: a) řeč/ne-řeč, b) hudba/ne-hudba a)

b)

Příznaky pro klasifikaci řeč/ne-řeč 1. Kepstrální koeficienty 2. Energetická modulace na 4Hz 3. Modulační entropie 1+2+3

Příznaky pro klasifikaci hudba/ne-hudba 1. Spektrální koeficienty 2. Počet segmentů 3. Délka trvání segmentu 1+2+3

Úspěšnost 90,9% 87,3% 87,5% 93,9%

9

Úspěšnost 87,0% 86,4% 78,1% 89,8%

2.3

Předzpracování

2.3.1 Normalizace Normalizací zajistíme, že úroveň zvukového signálu s[n] pro všechny nahrávky v databázi bude mít stejný rozsah hodnot. Normalizace je nutností při výpočtech, které souvisí s energií nebo výkonem signálu. V signálu s[n] se najde maximální absolutní hodnota, kterou se pak každý vzorek vydělí. Pro absolutní úroveň každého signálového vzorku pak bude platit s[n] ≤ 1 .

s[n] =

s[n] max( s[n] )

(2.1)

2.3.2 Preemfáze Statisticky zjištěné dlouhodobé spektrum řečového signálu ukazuje, že střední část spektra klesá se sklonem 6 dB/oktávu. Podstatná část celkové energie řečového signálu leží v kmitočtovém pásmu pod hranicí 300 Hz, ačkoli užitečné informace v signálu jsou téměř kompletně obsaženy v pásmu nad 300 Hz. Vezmeme-li navíc v úvahu, že kvantizační šum vykazuje rovnoměrné spektrum, je jeho negativní vliv podstatně větší na energeticky slabší, ale důležitější vyšší složky spektra řečového signálu [20]. Preemfáze v signálu vhodně zvýrazňuje vyšší kmitočty tak, aby amplitudy harmonických složek ve spektru byly zastoupené rovnoměrně. Jedná se tedy o filtraci signálu s[n], ze které vznikne signál po preemfázi s'[n]. Koeficient preemfáze α leží obvykle v intervalu α ∈ 0,9 − 1 [20].

s′[n] = s[n] − α ⋅ s[n − 1]

(2.2)

2.3.3 Segmentace Vzhledem ke své biologické povaze je řečový signál téměř výhradně zpracováván metodami tzv. krátkodobé analýzy. Tyto metody vycházejí z kvazistacionární podstaty řečového signálu. Signál je za tím účelem rozdělen na ekvidistantní segmenty o délce N vzorků. Délka segmentu musí být na jedné straně dostatečně malá pro aproximaci naměřených parametrů konstantními hodnotami a na druhé straně dostatečně velká, aby byly požadované parametry bezchybně změřeny. Oba protichůdné požadavky jsou vcelku splněny pro úseky řeči dlouhé 10 až 25 ms, což souvisí se změnami nastavení lidského hlasového ústrojí. U takových segmentů platí přibližně Gaussovo rozložení hustoty pravděpodobnosti okamžité velikosti řečového signálu. Částečným překrýváním segmentů se dosáhne většího vyhlazení časového průběhu za cenu větší výpočtové náročnosti. Řečový segment s''[n] o N vzorcích může být vytvořen z řečového signálu po preemfázi s'[n] pomocí váhované posloupnosti oknem w[n] [20].

s′′[n] = s′[n] ⋅ w[n] 10

(2.3)

2.4

Výpočet příznaků

2.4.1 Energie signálu Energie diskrétního řečového signálu  na jednom segmentu o délce  vzorků je dána vztahem, viz [20]. N E = ∑ s 2 [n] (2.4) n =1

2.4.2 Lineární predikční koeficienty - LPC Princip metody LPC spočívá v předpovědi  - tého vzorku řečového signálu pomocí lineární kombinace určitého počtu předcházejících váhových vzorků téhož signálu podle vztahu M

sˆ[n ] = ∑ a m ⋅ s[n − m ]

(2.5)

m =1

kde  jsou predikční LPC koeficienty a značí řád prediktoru (počet koeficientů). Pokud jsou koeficienty  dobře nastaveny, je hodnota předpovězeného signálu lineární kombinací předchozích hodnot. Pokud máme určeny koeficienty LPC, jsou jimi jednoznačně stanoveny charakteristiky periodického signálu. Také krátký úsek řečového signálu lze tedy výstižně popsat omezeným počtem 6 - 18 koeficientů [20].

2.4.3 Lineární predikční kepstrální koeficienty - LPCC Výhodou kepstrálních koeficientů LPCC oproti LPC je menší korelace koeficientů. LPCC koeficienty  lze získat přepočtem z LPC koeficientů , kde  je zesílení syntetizačního filtru, 0 = 1 a  = 0 pro  > , viz [12].

( )

c[0] = ln G

c[n ] = − a[n ] −

1 n−1 ⋅ ∑ (n − k ) ⋅ c[n − k ]⋅ a[k ] n k =1

11

pro  = 0

(2.6)

pro  > 0

(2.7)

2.4.4 Mel-frekvenční kepstrální koeficienty - MFCC Melovské kepstrální koeficienty se snaží kompenzovat zejména nelineární vnímání frekvencí lidským uchem, a to využitím banky trojúhelníkových pásmových filtrů s nelineárním rozložením frekvencí v melovské frekvenční škále, jež je reprezentována vztahem f [Hz ]   f [mel ] = 2959 ⋅ log1 +  700  

(2.8)

kde  je frekvence v lineární škále a  je odpovídající frekvence v nelineární melovské škále [18]. Závislost kmitočtu v melovské škále na kmitočtu v lineární škále 4000

f [mel] →

3000

2000

1000

0

0

2000

4000

6000

8000

10000

12000

14000

16000

f [Hz] →

Obr. 2.7: Závislost kmitočtu v melovské škále na kmitočtu v lineární Hz škále.

Proces určení melovských kepstrálních koeficientů lze popsat následujícím postupem. Na vstup systému jsou přiváděny vzorky řečových signálů () . Je provedena preemfáze signálu a na segmenty signálu délky obvykle 10 až 30 ms je aplikováno nejčastěji Hammingovo okénko. Přesná časová délka okénka (počet vzorků při dané frekvenci vzorkování Fvz) se volí rovna mocnině 2 vzhledem k následnému zpracování rychlou Fourierovou transformací (FFT) [18]. V dalším bloku zpracování se pomocí FFT vypočte amplitudové spektrum |()| analyzovaného signálu, alternativně je možné pracovat i s výkonovým spektrem |() | [18]. Klíčová část celého procesu zpracování je melovská filtrace. Výpočetní algoritmus této filtrace je realizován bankou trojúhelníkových pásmových filtrů s rovnoměrným rozložením středních frekvencí podél melovské frekvenční osy [18]. Na obr. 2.8 je vidět ukázka banky 20 filtrů v melovské (Fvz=4030mel) a původní Hz škále (Fvz=16kHz).

12

Banka 20 filtrů v melovské škále 1

0.5

0

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

fmel / Fvz [-] →

a) Banka 20 filtrů v původní Hertz škále 1

0.5

0

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

fHz / Fvz [-] →

b)

Obr. 2.8: Banka 20 filtrů: a) v melovské škále, b) v původní Hertz škále. Odezvy filtrů v melovské škále lze pak vyjádřit vztahem ym (i ) =

bi +1

∑ S ( f ) ⋅ u( f , i)

i = 1,2,..., M

(2.9)

f = bi −1

kde ! je pořadí filtru, "# střední frekvence daného filtru, počet filtrů v bance,  jsou vybírány ze souboru frekvencí využívaných při výpočtu FFT a $(, !) je vyjádření trojúhelníkového filtru, který lze popsat vztahem $(, !) =

(

)

*+ ,*+-. )

' *+ ,*+5. & 0

∙ ( − "#,) ) ∙ ( − "#6) )

123 "#,) ≤  ≤ "#

123 "# ≤  ≤ "#6)

123 377í 1ří1:;.

=

(2.10)

Průchod signálu filtrem tedy znamená, že každý koeficient FFT je násoben odpovídajícím ziskem filtru a výsledky jsou pro příslušné filtry akumulovány [18]. Další krok spočívá ve výpočtu logaritmu výstupů ; (!) jednotlivých filtrů. Posledním krokem při výpočtu melovských kepstrálních koeficientů > (?)@C AB) je provedení diskrétní kosinovy transformace (DCT) [18]. M  πj  cm ( j ) = ∑ log{y m (i )}⋅ cos  ⋅ (i − 0,5 ) M  i =1

pro

j = 1,2,..., M

(2.11)

Nulový koeficient  (0) je úměrný logaritmu energie signálu, nicméně je často nahrazován výpočtem logaritmu krátkodobé energie segmentovaného signálu [18]. N

2

cm (0) = log ∑[s′′(k )] n=1

13

(2.12)

0.3 0.2 0.1 0 -0.1 -0.2 0

5

10

15 t [ms] →

20

25

30

5

10

15 t [ms] →

20

25

30

0.3 0.2 0.1 0 -0.1 -0.2 0 20

[dB]

0

-20

-40 0

1000

2000

3000

4000 5000 f [kHz] →

6000

7000

8000

1000

2000

3000

4000 5000 f [kHz] →

6000

7000

8000

4 3.5 3 2.5 2 1.5 0 1

0

-1

-2

2

4

6

8

10 12 j→

14

16

18

20

Obr. 2.9: Postup výpočtu MFCC graficky.

2.4.5 Percepční lineární prediktivní analýza - PLP PLP je velmi efektivním prostředkem popisu spektrálních vlastností řečového signálu. Pro transformaci výkonového spektra řečového signálu do odpovídajícího sluchového spektra kombinuje tato metoda tři složky z psychofyziky slyšení: kritické pásmo spektrální citlivosti, křivky stejné hlasitosti a vztah vyjadřující závislost mezi intenzitou zvuku a jeho vnímanou hlasitostí [18].

2.4.6 Základní tón řeči - F0 Velice používaný příznak pro rozpoznání mluvčího a kódování řeči. Měření periody základního tónu znesnadňuje přítomnost formantové struktury ve frekvenčním spektru řeči. Jednou z možných metod určení základního tónu v časové oblasti je autokorelační funkce ACF, která je aplikována na různě upravený řečový signál. Vzdálenost mezi špičkami v autokorelační funkci pak určuje délku základního tónu [18].

2.4.7 Formantové frekvence - Fx První tři formantové frekvence nesou důležitou informaci o charakteru samohlásek a znělých souhlásek. Lze z nich získat informaci o pohlaví a věku mluvčího. Informace o formantech je nejprokazatelněji obsažena ve spektrální obálce analyzovaného úseku řeči. Spektrální obálku lze získat za pomocí koeficientů LPC , kde můžeme z vrcholů v průběhu vyčíst formantové frekvence a jejich šířky pásma [18].

14

2.4.8 Modulační energie na 4 Hz - ME Jedná se o příznak používaný k rozlišení řeč/hudba ve spektrální oblasti. Využívá toho, že řeč má charakteristickou modulační špičku v okolí kmitočtu 4 Hz slabikové změny. ME využívá při výpočtu všech výstupů melovské banky filtrů. Spektrální energie v sousedních bankách jsou vysoce korelované, což účinnost ME oslabuje [5]. Prvním krokem je výpočet výkonového spektra n segmentů X,  za pomocí DFT, které následně znásobíme s melovskou bankou filtrů. Získáme sady výstupních koeficientů banky v závislosti na n-tém segmentu. Pro trajektorii koeficientů přes všechny segmenty následně vypočteme FMS, , H - modulační spektrum banky filtrů, pomocí druhé DFT a nakonec filtrujeme FIR pásmovým filtrem s centrálním kmitočtem 4 Hz. Modulační energie na 4 Hz, ME, H, je pak definována vztahem (2.13), kde H značí hodnotu ME pro daný segment , je počet kanálů banky filtrů, I velikost druhé DFT a E energie n-tého segmentu [5]. 1 M −1 2 ⋅ ∑ FMS [n, m, q ] M m =0 ME[n, q ] = 1 P −1 ⋅ ∑ log( E[n + p ]) P p =0

(2.13)

Na obr. 2.7 je znázorněn výsledek výpočtu ME pro hudební a řečový signál. Tyto signály lze oddělit výpočtem střední hodnoty ME nebo její standardní odchylky. Řečový signál 1

0.5

0.5

s2 (t) (-) →

s1 (t) (-) →

Hudební signál 1

0 -0.5

0 -0.5

-1 0

0.5

1

1.5 t (s) →

2

2.5

-1 0

3

0.5

a) 0

-0.2

-0.2

-0.4

-0.4

-0.6

-0.6

-0.8 -1 -1.2

-1.6

-1.8

-1.8 1.5 t (s) →

2

2.5

-2 0

3

1.5

2

c)

4Hz ME v Řeči

4

-1

-1.4

1

x 10

-1.2

-1.6

0.5

2

-0.8

-1.4

-2 0

1.5

b)

4Hz ME v Hudbě

4

ME (t) (-) →

ME (t) (-) →

0

x 10

1 t (s) →

0.5

1 t (s) →

d)

Obr. 2.10: Výsledek výpočtu 4 Hz ME modulační energie pro hudební a řečový signál: a) Hudební signál, b) Řečový signál, c) ME v Hudbě, d) ME v Řeči. 15

MCME je příznakem, který odděluje řeč/hudbu v kepstrální oblasti a tím kompenzuje nevýhody spektrální metody ME . Postup výpočtu se až na použití kepstrálních koeficientů neliší od výpočtu modulační energie ME. Prvním krokem je opět výpočet výkonového spektra n segmentů X,  za pomocí DFT, které následně znásobíme s melovskou bankou filtrů, tentokrát v kepstrální oblasti. Získáme sady výstupních MFCC koeficientů v závislosti na n-tém segmentu. Pro trajektorii koeficientů přes všechny segmenty následně vypočteme MCMS, , H - mel-kepstrální modulační spektrum pomocí druhé DFT a nakonec filtrujeme FIR pásmovým filtrem s centrálním kmitočtem 4 Hz. Mel-kepstrální modulační energie na 4 Hz, MCME, H, je pak definována vztahem (2.14), kde H značí hodnotu MCME pro daný segment , L je počet MFCC koeficientů, I velikost druhé DFT a E energie n-tého segmentu [5].

2.4.9 Mel-kepstrální modulační energie na 4 Hz - MCME

1 L −1 2 ⋅ ∑ MCMS [ n, l , q ] L l =0 MCME [ n, q ] = 1 P −1 ⋅ ∑ log( E[ n + p ]) P p =0

(2.14)

Na obr. 2.8 je znázorněn výsledek výpočtu MCME pro hudební a řečový signál. Tyto signály lze oddělit výpočtem střední hodnoty MCME nebo její standardní odchylky. Řečový signál 1

0.5

0.5 s 2 (t) (-) →

s 1 (t) (-) →

Hudební signál 1

0 -0.5 -1 0

0 -0.5

0.5

1

1.5 t (s) →

2

2.5

-1 0

3

0.5

a) 0 -20

-40

-40

-60

-60 MCME (t) (-) →

MCME (t) (-) →

0

-80 -100 -120

1.5

2

-80 -100 -120

-140

-140

-160

-160

-180

-180 1

2

4Hz MCME v Řeči

-20

0.5

1.5

b)

4Hz MCME v Hudbě

-200 0

1 t (s) →

1.5 t (s) →

2

2.5

-200 0

3

c)

0.5

1 t (s) →

d)

Obr. 2.11: Výsledek výpočtu 4 Hz MCME mel-kepstrální modulační energie pro hudební a řečový signál: a) Hudební signál, b) Řečový signál, c) MCME v Hudbě, d) MCME v Řeči. 16

2.5

Selekce příznaků

2.5.1 Analýza hlavních komponent - PCA Většina metod vícerozměrné analýzy dat vychází z náhrady původních proměnných, které jsou korelované tzv. hlavními komponentami, které jsou párově nekorelované (ortogonální). Hlavní komponenty jsou většinou tvořeny lineární kombinací původních proměnných a při jejich konstrukci se obyčejně definují další omezení určující jednoznačně jejich polohy. Jedním ze základních požadavků bývá výběr takových směrů, které vždy vedou k maximálnímu snižování celkové variability dat. U metody PCA je vstupem matice dat XIM, obsahující hodnoty I původních proměnných pro  měření. Výstupem je matice ZIM , obsahující hodnoty I hlavních komponent pro  měření [14].

2.5.2 Lineární diskriminační analýza - LDA Zatímco PCA hledá komponenty, které jsou účinné pro reprezentaci, LDA hledá komponenty účinné pro klasifikaci. LDA maximalizuje oddělitelnost tříd tak, že provádí lineární transformaci vstupních dat a tím snižuje dimenzi vstupních příznaků. Pro oddělení  tříd je potřeba ( − 1) lineárních diskriminačních funkcí. Z :-rozměrného příznakového prostoru vznikne prostor o dimenzi ( − 1), kde (: ≥ ), viz [1].

2.5.3 F-poměr Pravidlem u této metody bývá ohodnotit použité příznaky na základě jejich rozptylu a vzdálenosti mezi třídami. Ohodnocené příznaky jsou seřazeny a část z nich je pak použita při klasifikaci. Je na nás, kolik z daných příznaků dále použijeme. Jednoduché kritérium P(M# ) pro vyjádření kvality příznaku M# vznikne pozorováním rozložení hodnot příznaku M# v příznakovém prostoru. Příznak je považován za zvláště kvalitní, pokud se na jedné straně prvky stejné třídy vyskytují blízko kolem střední hodnoty a na straně druhé se střední hodnoty jednotlivých tříd liší pro různé třídy co možná nejvíce [20]. Oba požadavky jsou vyjádřeny pomocí geometrických představ v následujících definicích [20]. Kvadrát vzdálenosti mezi středními hodnotami třídy Q a třídy $ je

(

Dv2,u = µ v − µ u

)

2

(2.15)

Aritmetickou střední hodnotu vzdáleností mezi všemi třídami určíme podle D2 =

V V 1 ⋅ ∑∑ Dv2,u V (V − 1) v =1 u =1

(2.16)

kde R značí celkový počet tříd [20]. Kvadrát rozptylu třídy Q kolem střední hodnoty je

{(

S2v = E x − µ v

17

)} 2

(2.17)

a jeho aritmetická střední hodnota S2 =

1 V 2 ⋅ ∑ Sv V v =1

(2.18)

Informaci o geometrické oddělitelnosti (separabilitě) tříd v příznakovém prostoru dává míra definovaná poměrem Q(.) = 1 −

S2 S 2 + D2

0 ≤ Q (.) ≤ 1

(2.19)

pro jeden příznak P(M# ) nebo pro více příznaků P(M) , M , … ), která je omezena na interval od 0 do 1. Pokud vykazuje příznak M# velké rozdíly pro různé třídy a malé rozdíly pro různé prvky jedné třídy, má míra P(M# ) velkou hodnotu, v ideálním případě je P(M# ) = 1. Malé hodnoty naopak ukazují, že příznaky jsou velmi rozptýleny a jsou tedy nevhodné pro rozpoznávání [20]. Mezní případy vyjadřují: P(. ) = 1 P(. ) = 0

… optimální plná oddělitelnost … žádná oddělitelnost (totální chaos v příznacích)

Nevýhodou míry podle (2.19) je, že nebere do úvahy korelaci mezi příznaky. Například mohou být vybrány jako nejlepší příznaky dva téměř identické příznaky s příslušnou vysokou hodnotou P(M# ). Další nevýhodou je klesající účinnost pro větší počet tříd [20].

2.6

Klasifikátory

2.6.1 Neuronové sítě V oblasti rozpoznání řeči se pro klasifikaci využívají neuronové sítě o 3 vrstvách. Počet neuronů v první vrstvě odpovídá rozměru klasifikovaných příznaků P, pro druhou (skrytou) vrstvu se volí počet neuronů (3 ∙ U), kde U značí počet tříd a poslední vrstva obsahuje C neuronů. Architektura neuronové sítě je tedy IM3UMU . Výstupem z neuronové sítě je vektor hodnot, kde nejvyšší hodnota leží na indexu, který odpovídá dané třídě. Nejprve je nutné neuronovou síť natrénovat. K tomu účelu slouží část databáze, ze které se pro tento účel vytvoří trénovací a cílová matice. Trénovací matice má rozměr V2I, , kde  je počet příznaků a cílová matice VU,  obsahuje výstupy neuronové sítě pro vektory vstupních příznaků v trénovací matici. Použití neuronové sítě k rozpoznání emocí lze najít v [21]. 18

2.6.2 Metoda k nejbližších sousedů - kNN Tato metoda spočívá v hledání  nejbližších sousedů v příznakovém prostoru. Najde se taková vzdálenost od vstupních příznaků, aby v okolí bylo přesně  sousedů. Nejvyšší počet sousedů, kteří patří do jedné ze tříd, pak určuje hledanou třídu. Okolí je určeno „Euklidovskou vzdáleností“, kde 2 značí dimenzi prostoru [14]. r

d(x, y) =

∑ (x

− yi )

2

i

(2.20)

i =1

2.6.3 GMM GMM (Gaussovy smíšené modely) jsou dnes nejpoužívanějším klasifikátorem v oblasti rozpoznání řeči. Jednotlivé třídy jsou v příznakové oblasti statisticky modelovány jednou nebo více gaussovými funkcemi rozložení pravděpodobnosti. Rovnice (2.21) ukazuje jednu : - rozměrnou gaussovu funkci, kde a značí střední hodnotu, (M − a) vektor středních hodnot a ^ kovarianční matici. (M) =

1

W(2Y)Z ∙ det (^)

∙ exp (−

(M − a)b ∙ ^ ,) ∙ (M − a) ) 2

(2.21)

Smíšený model (M) pak vzniká lineární kombinací více Gaussových funkcí rozložení pravděpodobnosti, kde d# značí váhu a počet gaussových funkcí [18]. C

(M) = c d# ∙ # (M) #B)

(2.22)

Metoda podpůrných vektorů SVM tvoří kategorii jádrových algoritmů. Tyto metody se snaží využít výhody poskytované efektivními algoritmy pro nalezení lineární hranice a zároveň jsou schopny reprezentovat vysoce složité nelineární funkce. Jedním ze základních principů je převod daného původního vstupního prostoru do jiného, vícedimenzionálního, kde již lze od sebe oddělit třídy lineárně [25]. Příkladem může být situace, kdy jsou v původním dvourozměrném prostoru dvě třídy odděleny nelineárně kružnicí. Přidáním další dimenze vznikne možnost prvkům třídy uvnitř kružnice přidat další souřadnici, která je posune jedním směrem na nové ose a pro oddělení obou tříd lze již použít funkci lineární. Otázka je kam nejlépe lineární funkci umístit tak, aby byla vedena co nejefektivněji z hlediska kategorizace budoucích dat, která nebylo při tréninku možno použít. Optimalizace umístění je komplikovaná, ale v zásadě řešitelná [25].

2.6.4 SVM

19

3.

Praktická část

3.1

Projekt MetaCentrum

Projekt MetaCentrum vznikl v roce 1996, od roku 1999 je součástí výzkumného záměru sdružení CESNET. Aktuálně sdružuje výpočetní a úložné kapacity hostované ve vybraných akademických institucích v rámci ČR. MetaCentrum lze využít především pro náročné výpočty na různých aplikačních programech, nebo jako datové úložiště. MetaCentrum může být atraktivním řešením pro náročné výpočty v této práci, například pro výpočet velkého množství příznaků. Projekt je aktivně zapojen do řady mezinárodních gridových projektů, např. EGEE, EGI, EUAsiaGRID. Spravované systémy vytváří sjednocenou distribuovanou výpočetní infrastrukturu doplněnou úložnými kapacitami, která bývá označována slovy jako metapočítač, Grid, e-Infrastruktura, digitální infrastruktura, cyber infrastructure nebo e-Science. Nabízí možnost využití řady aplikačních programů, např. Matlab, Maple, Gaussian a mnoho dalších. Uživatelem MetaCentra se může zdarma stát každý zaměstnanec nebo student akademické instituce v České republice. Uživatelé referují o výsledcích svého výzkumu prováděného s pomocí výpočetních prostředků MetaCentra formou poděkování ve svých publikacích. V současné době MetaCentrum disponuje více než 577 fyzickými stroji - 1450 procesorovými jádry. Novější stroje tvoří až 16 jádrové procesory, využívané až 50%. Důležitým pojmem je Virtualizace, která přináší nezávislost na umístění fyzických zdrojů, bezpečnost a oddělení uživatelských procesů. Jediným nedostatek je v současné době vysoké vytížení systému, kde se při některých úlohách čeká i desítky hodin ve frontě [15]. Příklady místních institucí, které se na projektu podílejí: • Superpočítačové centrum Brno - MU Brno • Ústav teoretické a experimentální elektrotechniky - FEKT VUT Brno • Ústav biomedicínského inženýrství – FEKT VUT Brno Oblasti řešených problémů: • Výpočetní chemie • Materiálové a strukturní simulace • Simulace proudění plynů a kapalin • Rozpoznávání a generování řeči • Fyzikální geodézie • Ekologické modelování • Zpracování videa • Data mining

20

3.2

Databáze nahrávek

Úkolem bylo vytvořit obsáhlou databázi nahrávek pro rozpoznání paralingvistických signálů v řeči. Jedná se o nahrávky neutrální promluvy, smíchu, pláče, hudby, hudby se zpěvem a řeči s hudbou v pozadí. Všechny nahrávky byly normalizovány a uloženy ve formě souborů „*.wav“ se vzorkovacím kmitočtem 16kHz, rozlišovací schopností 16bitů a jedním mono kanálem. Databáze obsahuje 651 nahrávek od 83 mluvčích. Pojmenování dodržuje normu popsanou na obr. 3.1.

Obr. 3.1: Pravidla pojmenování nahrávek v databázi. Hudební nahrávky a nahrávky se zpěvem byly použity ze soukromých zásob a rozděleny do pěti žánrů (klasická hudba, heavy metal, jazz, rock a techno). Hudební nahrávky tvoří větší část - 158, nahrávky se zpěvem menší část v databázi - 101. Další kategorií jsou nahrávky neutrální promluvy s hudbou v pozadí. V našem případě se jedná o 50 neutrálních promluv smíchaných s klasickou hudbou. Nahrávky neutrální promluvy byly získány z prvních 10 dílů seriálu TV Nova „Ordinace v růžové zahradě“ [2]. Jedná se o 10 mluvčích (7 žen a 5 mužů). Celkový počet nahrávek neutrální promluvy je 150. Ze stejného zdroje byla pořízena menší část z 89 nahrávek smíchu, ostatní nahrávky pro smích pak byly pořízeny ze zdrojů Youtube [24] a Entertonement [10]. Nejobtížnějším úkolem bylo najít vhodné nahrávky pláče. Databáze sice obsahuje celkem 103 nahrávek, ale jen z jednoho zdroje [10]. Podrobnosti o složení databáze jsou k dispozici v tab. 3.1. Tab. 3.1: Podrobnosti o složení databáze Klasická hudba Heavy Metal Hudba 158 Jazz Rock Techno Klasická hudba Heavy Metal Zpěv + Hudba 101 Jazz Rock Techno

25 20 26 63 24 24 19 4 42 12

Řeč + Hudba (Klasická) Neutrální Smích Pláč

21

Muž 26 Žena 24 Muž 61 150 Žena 89 Muž 41 89 Žena 48 Muž 27 103 Žena 76 Celkem nahrávek 651 50

3.3

Nástroj „Emotional“

Všechny experimenty, viz následující kapitoly, byly prováděny v prostředí Matlab za pomocí sofistikovaného nástroje Emotional, který byl postupně vytvářen vedoucím mé práce Ing. Hichamem Atassim. Emotional je komplexním nástrojem v oblasti rozpoznávání řeči. Obsahuje prakticky vše od podpory různých databází nahrávek, přes předzpracování, výpočet a selekci příznaků, klasifikaci a výpočet její úspěšnosti, a další užitečné funkce. Dílčím úkolem této práce bylo podpořit tento projekt některými funkcemi, jejichž seznam je uveden v tab. 3.2. Tab. 3.2: Vytvořené funkce pro nástroj Emotional Příklad volání funkce

Popis parametrů

cep=cepstrum(frames, range, NFFT)

frames - matice[MxN], M - délka segmentovaného signálu, N počet segmentů range - dvousložkový řádkový vektor [L H], L - dolní, H - horní index kepstra NFFT - délka FFT cep - výstupní kepstrální matice[(H-L+1)xN] frames - matice[MxN] order - řád LPC

LPC=lp_coef(frames, order)

LPC - matice[(order+1)xN] LPC koeficientů frames - matice[MxN] order - řád LPCC

LPCC=lpc_coef(frames,order)

LPCC - matice[order x N] LPCC koeficientů signal - signál ve formě *.wav Fvz - vzorkovací kmitočet

ME=melbs_energy_modulation(signal,Fvz)

ME - výstupní matice[40xN] Mel-spektrální energetická modulace na 4Hz signal - signál ve formě *.wav Fvz - vzorkovací kmitočet

MCME=mfcc_energy_modulation(signal,Fvz)

MCME - výstupní matice[40xN] Mel-kepstrální energetická modulace na 4Hz feature_matrix - matice[OxP], kde O je počet příznaků, P počet nahrávek classes - vektor[1xP], určuje, do jaké třídy daná nahrávka patří classifier=svm(feature_matrix,classes,classifier_settings) classifier_settings - určuje podrobnější nastavení klasifikátoru classifier - struktura natrénovaného SVM klasifikátoru

22

3.4

Experiment č. 1

Tento experiment sleduje nejčastější způsob klasifikace v oblasti rozpoznávání řeči a jeho postup je zobrazen na obr. 3.2. Předzpracování formou segmentace bylo prováděno jednotně pro všechny příznaky, viz přehled v tab. 3.3. Celkem bylo vypočteno přesně 14529 nejrůznějších příznaků. Všechny vypočtené příznaky byly následně ohodnoceny dle F-poměru a seřazeny v redukované matici. Dále bylo potřeba normalizovat hodnoty vypočtených příznaků před trénováním klasifikátoru. Výsledky úspěšnosti klasifikace na počtu nejlepších příznaků, použitých v redukované matici, jsou zobrazeny v následujících obrázcích a tabulkách pro různá nastavení GMM klasifikátoru. Ověřování úspěšnosti klasifikátoru pro všech 6 tříd bylo prováděno za pomocí metody vylučování nahrávek (leave-one-out validation).

Obr. 3.2: Postup klasifikace při prvním experimentu. Tab. 3.3: Použité příznaky a jejich předzpracování 20-MFCC+∆+∆∆, 18-PLP+∆+∆∆, 20-MELBS+∆+∆∆, 30-Cepstrum, 18-LPC, Energie, TEO, ZCR Délka segmentu: 512 Překrytí: 256

Spektrální příznaky 4Hz ME, 4Hz MCME

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí

Úspěšnost klasifikace [%] →

85

80

75

70

65

60

55

50

GMM 1 GMM 2 GMM 3 50

100

150

200

250

300

350

400

450

500

Počet redukovaných příznaků [-] →

Obr. 3.3: Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí. 23

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí 85

Úspěšnost klasifikace [%] →

80 75 70 65 60 55 50 45 40 GMM 1 GMM 2 GMM 3

35 30

50

100

150

200

250

300

350

400

450

500

Počet redukovaných příznaků [-] →

Obr. 3.4: Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí. Závislosti úspěšnosti klasifikace, viz obr. 3.3 a obr. 3.4 ukazují, že se vzrůstajícím počtem použitých příznaků úspěšnost klasifikace roste. Při využití diagonální kovarianční matice roste také úspěšnost klasifikace spolu s počtem použitých gaussových funkcí ve smíšeném modelu. U plné kovarianční matice je rozdíl v úspěšnosti klasifikace při použití více gaussových funkcí menší. Kvalita příznaků v závislosti na jejich pořadí v redukované matici Kvalita příznaků [-] →

0.85

0.8

0.75

0.7

0.65

0.6

50

100

150

200

250

300

350

400

450

500

Pozice v redukované matici [-] →

Obr. 3.5: Závislost kvality příznaků na jejich pozici v redukované matici. Na obr. 3.5 je vidět závislost kvality příznaků, získané za pomocí zmiňované metody F-poměru, na pozici v redukované matici. Kvalita zde v závislosti na pozici v redukované matici strmě klesá. Tab. 3.4: Přehled deseti nejlepších příznaků pro první experiment Pořadí

1

Index příznaku

3

2

3

4

5

6

7

8

9

10

14364 1145 3423 4508 3421 1143 1146 4506 2283

24

Tab. 3.5: Matice záměn pro první experiment: mi-hudba se zpěvem, mu-hudba, la-smích, ms-řeč s hudbou v pozadí, ne-neutrální řeč, cr-pláč a) Diagonální kovarianční matice pro GMM3 a b) Plná kovarianční matice pro GMM3 a 450 použitých příznaků 350 použitých příznaků

mi mu la ms mi 78 16 6 0 mu 28 70 2 0 la 2 4 76 0 ms 0 4 2 70 ne 0 2 2 2 cr 2 0 12 0 Celková úspěšnost [%]:

ne 0 0 6 24 94 0

cr 0 0 12 0 0 86 79,0

mi mu la ms ne cr mi 78 22 0 0 0 0 mu 20 80 0 0 0 0 la 0 4 78 6 10 2 ms 0 2 0 72 26 0 ne 0 0 0 6 94 0 cr 0 0 6 0 0 94 Celková úspěšnost [%]: 82,7

Z dosažených výsledků vyplývá, že klasifikace všech tříd najednou není jednoduchou úlohou. Počet použitých příznaků je vysoký a průměrná úspěšnost klasifikace se pohybuje okolo 80%. Dále je možno říci, že výsledky jsou značně závislé na použité kovarianční matici u klasifikátoru GMM, kde vychází lepší výsledky pro matici plnou, avšak za cenu vyšších výpočetních nároků. Bylo třeba nalézt kompromis mezi počtem použitých příznaků a úspěšností klasifikace. Pro diagonální kovarianční matici byl zvolen počet 450 použitých příznaků a pro plnou kovarianční matici pak 350 použitých příznaků. Ačkoliv je počet použitých příznaků u plné kovarianční matice nižší, úspěšnost klasifikace je vyšší než v prvním případě. Trénování a testování GMM klasifikátoru pro klasifikaci šesti tříd je časově velice náročné. Při využití plné kovarianční matice může trénování klasifikátoru trvat několikanásobně déle než v případě použití diagonální kovarianční matice. Pokud jde o paměťové nároky, takovýto klasifikátor v prostředí matlab za použití diagonální kovarianční matice zabírá řádově stovky kB a u plné kovarianční matice desítky MB paměti. Matice záměn ukazují, že nejlépe klasifikátor detekoval neutrální řeč a pláč a nejhůře řeč s hudbou v pozadí. Nejvíce chyb vznikalo v rozpoznávání mezi hudbou se zpěvem/hudbou a mezi neutrální řečí s hudbou v pozadí /neutrální řečí.

25

3.5

Experiment č. 2

U tohoto experimentu probíhal výpočet příznaků stejným způsobem jako u experimentu prvního, avšak redukce probíhala pro každou z pěti klasifikací odděleně. Byla zvolena postupná klasifikace ve stromové struktuře, viz obr. 3.6. Nejprve se pro všech 6 tříd klasifikovala přítomnost řeči, čímž se rozdělila množina 6 tříd na dvě podmnožiny (2+4). Druhá podmnožina se čtyřmi stavy se klasifikovala dále na dvě další podmnožiny (2+2). První podmnožina obsahovala třídy řeč s hudbou v pozadí a neutrální promluvu a druhá podmnožina obsahovala paralingvistické signály smích a pláč. Dále jsme klasifikovali mezi vzniklými dvojicemi tříd.

První klasifikace GMM Hudba+Zpěv Hudba Řeč+Hudba Řeč Smích Neobsahuje řeč Obsahuje řeč Druhá klasifikace GMM Hudba+Zpěv Hudba

Pláč

Druhá klasifikace GMM Řeč+Hudba Řeč Smích Pláč Neobsahuje para. signály Paralingvistické signály Třetí klasifikace GMM Řeč+Hudba Řeč

Třetí klasifikace GMM Smích Pláč

Obr. 3.6: Postup klasifikace při druhém experimentu.

Druhý experiment zjednodušuje úlohu klasifikace zavedením více podtříd, které lze mezi sebou snáze odlišit. Na obr. 3.6 byl navržen intuitivní postup klasifikace ve stromové struktuře. Rozdělení mohlo probíhat jiným způsobem, například jsme mohli při první klasifikaci rozdělit vstupní množinu na dvě podtřídy (3+3) v závislosti na tom, jestli obsahují hudbu. Tento pokus nedopadl příliš úspěšně. Bylo zjištěno, že klasifikátory při vypočtených příznacích lépe nacházejí řeč než hudbu. Navíc bychom museli při této klasifikaci pokračovat v klasifikaci trojic, popřípadě trojice dále rozdělovat. Z těchto důvodů byla zvolena struktura, která je popsána na obr. 3.6. Klasifikace mezi dvěma třídami je nejjednodušší metodou klasifikace. Následující grafy popisují každý z pěti klasifikátorů. Úkolem bude vybrat nejlepší řešení z hlediska úspěšnosti klasifikace, výpočetní náročnosti a z hlediska počtu potřebných příznaků pro každý z dílčích klasifikátorů. Nakonec pět nejvhodnějších klasifikátorů spojíme dle obr. 3.6 do struktury. Pro vysoký počet jsou tyto grafy uloženy v příloze č. 1 na konci dokumentu.

26

Na všech obrázcích v příloze č. 1 lze vidět, že interval pro nejlepší úspěšnost klasifikace leží mezi deseti až pětadvaceti redukovanými příznaky. Při výběru nejlepšího nastavení pro každý z klasifikátorů byl upřednostňován menší počet příznaků a vyšší úspěšnost klasifikace i na úkor využití plné kovarianční matice. Na obr. 3.7 následuje hodnocení kvality příznaků pro jednotlivé klasifikátory. Kvalita příznaků není závislá na nastavení klasifikátoru. Závislost kvality příznaků na jejich pozici v redukované matici

Kvalita příznaků [-] →

0.9 0.8 0.7 0.6

Neobsahuje řeč/obsahuje řeč Neobsahuje para. signály/paralingvistické signály Hudba se zpěvem/hudba Smích/pláč Řeč s hudbou/řeč

0.5 0.4

5

10

15

20

25

30

35

40

45

50

55

60

Pořadí v redukované matici [-] →

Obr. 3.7: Závislost kvality příznaků na jejich pozici v redukované matici. Jak lze vidět na obr. 3.7, kvalita příznaků je nejlepší pro klasifikace Neobsahuje para. signály/paralingvistické signály a pro Neobsahuje řeč/obsahuje řeč, zatímco nejméně kvalitní příznaky byly nalezeny pro klasifikaci Hudba se zpěvem/hudba.

Obr. 3.8: Struktura a nastavení klasifikátorů pro druhý experiment. 27

Obr. 3.8 ukazuje úspěšnost jednotlivých GMM klasifikátorů druhého experimentu spolu s nastavením kovarianční matice, počtem gaussových funkcí, počtem použitých příznaků a maticemi záměn. V tab. 3.6 lze dále vidět indexy deseti nejlepších příznaků pro druhý experiment. Tab. 3.6: Přehled deseti nejlepších příznaků pro druhý experiment Pořadí

1

2

3

4

5

6

7

8

9

10

Neobsahuje řeč /Obsahuje řeč 14481 10379 14524 14522 14521 4639

4620

13568 11838 11819

Neobsahuje para. signály/ paralingvistické signály

6

10264

5

6671

6670

3

1146

13913

Hudba+Zpěv/Hudba

4734

3654

3651

288

4735

5817

4737

10378

291

1428

Smích/Pláč

13000 13057 12943 13054 13171 3423 11918

7774

7793

11838

Řeč+Hudba/Řeč

3442

4525

4506

4544

5627

5608

5589

2286

1165

13624 11812 11811

Tab. 3.7: Matice záměn pro druhý experiment: mi-hudba se zpěvem, mu-hudba, la-smích, ms-řeč s hudbou v pozadí, ne-neutrální řeč, cr-pláč

mi mu la ms mi 80 16 4 0 mu 2 98 0 0 la 2 0 82 2 ms 8 2 0 84 ne 0 0 2 0 cr 0 0 6 0 Celková úspěšnost [%]:

ne 0 0 12 6 98 2

cr 0 0 2 0 0 92 89

Z dosažených výsledků vyplývá, že klasifikace ve stromové struktuře skutečně zjednodušuje úlohu klasifikace. Počet použitých příznaků je nižší než u prvního experimentu (pouze 90 příznaků) a průměrná úspěšnost klasifikace vzrostla na hodnotu 89%. Trénování a testování GMM klasifikátoru pro klasifikaci dvojic tříd není časově ani paměťově náročné. Pokud jde o paměťové nároky, takovýto klasifikátor mezi dvojicemi tříd v prostředí matlab za použití diagonální kovarianční matice zabírá řádově jednotky kB a u plné kovarianční matice desítky kB paměti. Matice záměn ukazuje, že nejlépe klasifikátor detekoval hudbu a řeč a nejhůře řeč s hudbou v pozadí. Nejvíce chyb vznikalo v rozpoznávání mezi hudbou se zpěvem/hudbou a mezi smíchem/neutrální řečí.

28

3.6

Experiment č. 3

Výpočet příznaků pro třetí experiment probíhal opět stejným způsobem jako v předchozích dvou experimentech. Redukce příznaků a klasifikace tentokrát probíhala pro každou kombinaci dvojic tříd samostatně, čímž vzniklo 15 klasifikátorů. Výsledky zápasů mezi třídami se ukládaly do jednotlivých sumarizačních bloků a blok s nejvyšším počtem výher pak určoval výslednou třídu. Tento přístup byl využit při klasifikaci emocí od Hichama Atassiho [3]. I když je potřeba provést velký počet klasifikací, redukce příznaků pro každou dvojici zajistí menší počet potřebných příznaků než v prvním experimentu a usnadní tak úlohu danému klasifikátoru. Navíc se jako v případě druhého experimentu sníží výpočetní a paměťová náročnost, klasifikací pouze mezi dvěma třídami. Výhodou tohoto přístupu oproti druhému experimentu je jeho univerzálnost při řešení podobných úloh. Na obr. 3.9 lze vidět postup klasifikace při třetím experimentu.

Obr. 3.9: Postup klasifikace při třetím experimentu.

29

Úkolem bude vybrat opět nejlepší řešení z hlediska úspěšnosti klasifikace, výpočetní náročnosti a z hlediska počtu potřebných příznaků pro každý z dílčích klasifikátorů. Nastavení klasifikátorů Řeč s hudbou/řeč, Smích/pláč a Hudba se zpěvem/hudba zůstává stejná, jako v případě druhého experimentu viz obrázky v příloze č. 1. Závislosti úspěšnosti klasifikace na počtu použitých příznaků zbylých dvojic u třetího experimentu lze vidět na všech obrázcích v příloze č. 2. Na obr. 3.10 lze sledovat kvalitu příznaků pro třetí experiment.

Závislost kvality příznaků na jejich pozici v redukované matici

1

Kvalita příznaků [-] →

0.9

0.8

0.7

0.6

0.5

0.4

5

10

15

20

25

30

35

40

45

50

55

60

Pořadí v redukované matici [-] →

Obr. 3.10: Kvalita příznaků v závislosti na jejich pořadí v redukované matici pro jednotlivé klasifikační dvojice.

Obecně lze říci, že čím více se dané třídy liší, tím kvalitnější příznaky lze pro jejich klasifikaci nalézt. Jak lze vidět na obr. 3.10, kvalita příznaků je nejlepší pro klasifikační dvojice, které se oddělují od pláče, až na klasifikaci smích/pláč, která se pohybuje v dolní polovině grafu. Nejkvalitnější příznaky byly nalezeny pro klasifikační dvojice obsahující hudbu a pláč - Řeč+Hudba/Pláč a Zpěv+Hudba/Pláč. Dále lze říci, že smích se podobá nejvíce pláči a neutrální řeči a v jeho případě bylo těžké najít kvalitní příznaky. Nakonec nejméně kvalitní příznaky byly nalezeny pro klasifikační dvojice Zpěv+Hudba/Hudba a Řeč+Hudba/Řeč. Na obr. 3.11 lze nalézt nastavení a výsledky jednotlivých klasifikátorů pro třetí experiment.

30

Obr. 3.11: Nastavení a výsledky jednotlivých klasifikátorů pro třetí experiment.

Obr. 3.11 ukazuje úspěšnost jednotlivých GMM klasifikátorů třetího experimentu spolu s nastavením kovarianční matice, počtem gaussových funkcí, počtem použitých příznaků a maticemi záměn. V tab. 3.8 lze dále vidět indexy deseti nejlepších příznaků pro druhý experiment.

31

Tab. 3.8: Přehled deseti nejlepších příznaků pro třetí experiment Pořadí Hudba+zpěv/Hudba Hudba+zpěv/Smích Hudba+zpěv/Řeč+hudba Hudba+zpěv/Řeč Hudba+zpěv/Pláč Hudba/Smích Hudba/Řeč+hudba Hudba/Řeč Hudba/Pláč Smích/Řeč+hudba Smích/Řeč Smích/Pláč Řeč+hudba/Řeč Řeč+hudba/Pláč Řeč/Pláč

1 4734 10375 2362 1200 3 14421 2341 1314 1145 12890 12890 13000 3442 3425 3425

2 3654 10379 1203 60 3425 535 2362 174 14364 14421 12889 13057 4525 5 5

3 4 5 6 7 3651 288 4735 5817 4737 10376 14486 14364 14034 14421 2360 1202 1219 1200 2359 1219 2340 2359 79 2378 3423 5 1145 4508 6 1048 6670 6671 877 820 2343 2360 2361 10434 1203 2454 4620 1428 10377 1447 4508 3421 3 14481 14304 12889 6671 10264 6728 6670 10264 3478 13913 3479 3481 12943 13054 13171 3423 11918 4506 4544 5627 5608 5589 3426 6 3 10094 1146 6 3426 1146 3 10094

8 10378 14260 2343 1203 1146 3955 1202 10434 1143 6704 6671 7774 13624 3423 1145

9 291 6728 2361 63 1143 14195 2473 10263 2283 41 14139 7793 11812 4509 1144

10 1428 3421 1222 1238 3426 4297 10266 10491 2303 13744 6728 11838 11811 4508 4508

Tab. 3.9: Matice záměn pro třetí experiment: mi-hudba se zpěvem, mu-hudba, la-smích, ms-řeč s hudbou v pozadí, ne-neutrální řeč, cr-pláč

mi mu la ms ne cr Mi 72 14 8 6 0 0 Mu 4 90 6 0 0 0 La 4 4 86 0 4 2 Ms 2 2 6 84 6 0 Ne 0 0 0 0 100 0 Cr 0 0 6 0 0 94 Celková úspěšnost [%]: 87,7 Z dosažených výsledků vyplývá, že klasifikace dvojic tříd opět zjednodušuje úlohu klasifikace. Počet použitých příznaků je nižší než u prvního experimentu (pouze 200 příznaků), ale je vyšší než u druhého experimentu. Průměrná úspěšnost klasifikace 87,7% je vyšší než v případě prvního experimentu, ale nižší než v případě druhého experimentu. Trénování a testování GMM klasifikátoru pro klasifikaci dvojic tříd není časově ani paměťově náročné. Pokud jde o paměťové nároky, takovýto klasifikátor mezi dvojicemi tříd v prostředí matlab za použití diagonální kovarianční matice zabírá řádově jednotky kB a u plné kovarianční matice desítky kB paměti. Matice záměn ukazuje, že nejlépe klasifikátor detekoval řeč a pláč a nejhůře hudbu se zpěvem a řeč s hudbou v pozadí. Nejvíce chyb vznikalo v rozpoznávání mezi hudbou se zpěvem/hudbou a mezi hudbou se zpěvem/smíchem.

32

3.7

Experimenty – souhrn

Tab. 3.10: Počet dílčích klasifikátorů a celkový počet použitých příznaků Počet dílčích klasifikátorů Celkový počet použitých příznaků

Experiment 1 Experiment 2 Experiment 3 1 5 15 350 90 200

Tab. 3.11: Paměťové nároky jednotlivých klasifikátorů Diagonální kovarianční matice [kB] 136,23

Plná kovarianční matice [kB] 21 642,73

Neobsahuje řeč /Obsahuje řeč

0,87

9,29

Neobsahuje para. signály/ paralingvistické signály

0,72

3,91

1,41 1,34 2,09

6,83 9,76 11,5

1,88 0,52 1,52 0,52 0,54 0,74 0,94 0,58 0,74 1,13 0,52 0,82

4,24 1,44 9,39 1,44 3,65 2,69 1,99 1,73 2,67 4,41 3,43 1,72

Experiment 1 Experiment 2

Experiment 2/ Experiment 3 Hudba+Zpěv/Hudba Smích/Pláč Řeč+Hudba/Řeč

Experiment 3 Hudba+zpěv/Smích Hudba+zpěv/Řeč+hudba Hudba+zpěv/Řeč Hudba+zpěv/Pláč Hudba/Smích Hudba/Řeč+hudba Hudba/Řeč Hudba/Pláč Smích/Řeč+hudba Smích/Řeč Řeč+hudba/Pláč Řeč/Pláč

Tab. 3.12: Matice záměn všech experimentů: mi-hudba se zpěvem, mu-hudba, la-smích, ms-řeč s hudbou v pozadí, ne-neutrální řeč, cr-pláč

Experiment 1

Experiment 2

Experiment 3

mi mu la ms ne cr mi 78 22 0 0 0 0 mu 20 80 0 0 0 0 la 0 4 78 6 10 2 ms 0 2 0 72 26 0 ne 0 0 0 6 94 0 cr 0 0 6 0 0 94 Celková úspěšnost [%]: 82,7

mi mu la ms ne cr mi 80 16 4 0 0 0 mu 2 98 0 0 0 0 la 2 0 82 2 12 2 ms 8 2 0 84 6 0 ne 0 0 2 0 98 0 cr 0 0 6 0 2 92 Celková úspěšnost [%]: 89

mi mu la ms ne cr mi 72 14 8 6 0 0 mu 4 90 6 0 0 0 la 4 4 86 0 4 2 ms 2 2 6 84 6 0 ne 0 0 0 0 100 0 cr 0 0 6 0 0 94 Celková úspěšnost [%]: 87,7

33

4.

Experimenty v prostředí Matlab

V prostředí Matlab byl vytvořen program s jednoduchým uživatelským rozhraním pro testování zvukových nahrávek ve formátu „wav“ a pro testování z mikrofonu. Program klasifikuje nahrávky s jedním zvukovým kanálem o vzorkovacím kmitočtu 16kHz a o délce řádově v sekundách. To odpovídá nahrávkám, které byly použity pro trénování. V programu lze vybrat libovolný testovací soubor a jeden ze tří experimentů jako metodu klasifikace. Výsledky klasifikace jsou zobrazeny v dalším okně ve formě grafu. Grafické rozhraní programu a výstup programu lze nalézt na obr. 4.1.

a)

b)

Obr. 4.1: Program pro rozpoznání nahrávek v prostředí Matlab: a) Grafické rozhraní programu, b) Výstup programu.

Prvním krokem každé z klasifikací je výpočet příznaků. Je vypočteno 14529 příznaků, jejichž přehled lze nalézt v tab. 3.3. Protože již známe nejlepší indexy příznaků pro jednotlivé dílčí klasifikace, vypočtené příznaky již neřadíme podle kvality, ale mají fixní pozice. Po výpočtu segmentálních a suprasegmentálních příznaků jsou hodnoty u segmentálních příznaků zprůměrovány přes všechny segmenty a výstupem je vektor o velikosti R14529,1. Druhým krokem je redukce příznaků. Ta probíhá pro každou z dílčích klasifikací odděleně. Ze vstupního vektoru R14529,1 se vybere určitý počet těch nejlepších příznaků pro danou klasifikaci. Z vektoru R14529,1 náhle vznikne vektor o velikosti řádově desítek příznaků, například k15,1. Tento redukovaný vektor se pak stává vstupem do natrénovaného GMM klasifikátoru. Po redukci přichází na řadu klasifikace, v případě prvního experimentu jen jedna výsledná, v případě druhého a třetího experimentu jsou to klasifikace dílčí. Po klasifikacích následuje fúze, která má za úkol upravit prezentované výsledky dílčích klasifikací do výsledné podoby a zobrazit výsledky klasifikace viz obr. 4.1b.

34

5.

Experimenty v reálném čase v prostředí Simulink

Dalším úkolem bylo vytvořit v prostředí Matlab Simulink modely pro rozpoznání paralingvistických signálů v reálném čase. Tyto modely mají za úkol vstupní zvukovou nahrávku rozdělit na kratší časové segmenty a každý segment následně klasifikovat stejně, jako v případě experimentů v prostředí Matlab, viz předchozí kapitola. K tomuto účelu bylo potřeba vytvořené funkce importovat z prostředí Matlab do prostředí Matlab simulink. Uvedené experimenty byly tvořeny v prostředí Matlab Simulink 7.2 (R2008b).

5.1

„Embedded” funkce

K importování Matlab funkcí do prostředí Matlab Simulink slouží blok zvaný „Embedded funkce“. Matlab funkce je přenesena do programovacího jazyka C a následně vložena do prostředí Matlab Simulink. Je to velice užitečný nástroj, avšak vyznačuje se velkým množstvím omezení. Uvnitř bloku (v první úrovni) musí být u všech proměnných předem známa velikost a třída. V průběhu simulace se tyto parametry nesmí měnit. To vylučuje použití dynamických funkcí a proměnných v první úrovni Embedded funkce. Velikost a třídu vstupu/výstupu tedy nelze měnit. Dalším omezením je potřeba definice dat jako reálných nebo komplexních. Reálné hodnoty můžeme přidělit do komplexního obsahu ale nikoliv naopak. Dále nelze v první úrovni využívat pod-indexování matic, známé v anglickém jazyce jako „sub-indexing“ [9].

5.2

Modely experimentů

Obr. 4.2: Model prvního experimentu pro rozpoznání v prostředí Matlab simulink.

Na Obr. 4.2 lze vidět, že model dokáže rozpoznávat jak ze souboru, tak z mikrofonu. V bloku „Fronta“ lze nastavit délku i překryv segmentů. Poslední tři bloky jsou tvořeny „embedded” funkcemi. První z nich reprezentuje výpočet příznaků, druhý redukci spolu s klasifikací a poslední fúzi. Výsledky klasifikace lze po každém kroku spatřit v dolní části obrazovky, viz obr. 4.1b. Na následujících obrázcích lze vidět obdobu druhého a třetího experimentu. 35

Obr. 4.3: Model druhého experimentu pro rozpoznání v prostředí Matlab simulink.

Obr. 4.4: Model třetího experimentu pro rozpoznání v prostředí Matlab simulink.

36

5.3

Simulink - model MFCC

Dalším úkolem bylo v prostředí Matlab Simulink vytvořit model pro výpočet příznaků MFCC. Při využití embedded funkce bylo potřeba předem definovat velikost všech proměnných. Z toho to důvodu obsahuje MFCC model více dílčích výpočtů pro různý počet MFCC koeficientů. Na obr. 5.1 lze vidět model pro výpočet MFCC a na obr. 5.2 jeden jeho dílčí podsystém.

Obr. 5.1: Model pro výpočet MFCC v prostředí Matlab simulink.

Obr. 5.2: Podsystém pro výpočet MFCC_05 v prostředí Matlab simulink.

37

6.

Závěr

Z dosažených výsledků prvního experimentu vyplývá, že klasifikace všech tříd najednou není příliš úspěšná. Počet 350 použitých příznaků je vysoký a průměrná úspěšnost klasifikace činí 82,7%. Úspěšnost klasifikace se vztahuje k plné kovarianční matici GMM klasifikátoru, avšak za cenu vyšších výpočetních nároků. Klasifikátor zde nejlépe detekoval neutrální řeč a pláč a nejhůře řeč s hudbou v pozadí. Nejvíce chyb vznikalo v rozpoznávání mezi hudbou se zpěvem/hudbou a mezi neutrální řečí s hudbou v pozadí/neutrální řečí. Druhý experiment se pokoušel zjednodušit úlohu klasifikace zavedením více podtříd, které lze mezi sebou snáze odlišit. Díky tomu se zvýšil počet klasifikací na 5, počet potřebných příznaků se snížil na 90 a průměrná úspěšnost klasifikace vzrostla na hodnotu 89%. Navíc se výpočetní nároky finálního klasifikátoru snížili použitím dílčích klasifikátorů, které klasifikovaly jen mezi dvěma třídami. Nejlépe klasifikátor detekoval hudbu a řeč a nejhůře řeč s hudbou v pozadí. Poslední experiment se snažil rozvést myšlenku z druhého experimentu ještě dál a to klasifikací všech dvojic samostatně. Počet použitých příznaků je nižší než u prvního experimentu (pouze 200 příznaků), ale je vyšší než u druhého experimentu. Průměrná úspěšnost klasifikace 87,7% je vyšší než v případě prvního experimentu, ale nižší než v případě druhého experimentu. Nejlépe klasifikátor detekoval řeč a pláč a nejhůře hudbu se zpěvem a řeč s hudbou v pozadí. Druhý experiment se zdá být jako nejlepším řešením pro zadanou úlohu. Průměrná úspěšnost u něj vzrostla oproti ostatním až na 89% a má přitom nejmenší výpočetní a paměťové nároky. Naproti tomu třetí experiment lze využít jako univerzální řešení pro podobné úkoly.

38

Literatura [1]

Aksoy S.; , "Feature reduction and selection, "Department of Computer Engineering Bilkent University, 2009, [cit. 2009-11-20]. Dostupné z WWW: < http://cs.bilkent.edu.tr/~saksoy/courses/cs551/slides/cs551_dimensionality.pdf >.

[2]

Archiv TV Nova : Ordinace v růžové zahradě [online]. 2009 [cit. 2009-11-20]. Dostupné z WWW: .

[3]

Atassi, H.; Riviello, M.; Smékal, Z.; Hussain, A.; Esposito, A.; , "Emotional Vocal Expressions Recognition using the COST 2102 Italian Database of Emotional Speech, " Lecture Notes in Computer Science (IF 0,513), 2009, c. 5967, s. 1-14. ISSN: 0302- 9743.

[4]

Bihar Kandali, A.; Routray, A.; Kumar Basu, T.; , "Emotion recognition from Assamese speeches using MFCC features and GMM classifier," TENCON 2008 - 2008 IEEE Region 10 Conference , vol., no., pp.1-5, 19-21 Nov. 2008.

[5]

Bong-Wan, Kim; Dae-Lim, Choi; Yong-Ju, Lee.; , "Speech/Music Discrimination Using Mel-Cepstrum Modulation Energy," in Springer Berlin / Heidelberg 2007, 4629, pp. 406-414. ISSN 0302-9743.

[6]

Burkhardt F.; Paeschke A.; Rolfes M.; Sendlmeier W.; Weiss B.; , "A database of german emotional speech, " in Proc. Interspeech 2005, Lisbon, Portugal, 2005, ISCA, pp. 1517–1520.

[7]

Campione E.; Véronis J.; , "A multilingual prosodic database," in International Conference on Spoken Language Processing, ‘Sydney, Australia, Dec. 1998, pp. 3163-3166.

[8]

Duda O. R.; Hart E. P.; Stork G. D.; , "Pattern Classification," , 2nd edition, Wiley-Interscience, 2000, 654 p., ISBN 0471056693.

[9]

Embedded Matlab Funkce [online]. 2009 [cit. 2010-02-10]. Dostupné z WWW: < http://www.mathworks.com/access/helpdesk/help/toolbox/simulink/slref/ >.

[10]

Entertonement [online]. 2009 [cit. .

[11]

Fu H. Z.; Wang F. J.; , "Robust features for effective speech and music discrimination," in Proceedings of the 20th Conference on Computational Linguistics and Speech Processing (ROCLING '08), Taipei, Taiwan, September 2008.

[12]

Horák P.; , "Modelování suprasegmentálních rysů mluvené češtiny pomocí lineární predikce," Dizertační práce, ČVUT, Fakulta Elektrotechnická, Telekomunikační technika, 2002 [cit. 2009-11-20], Dostupné z WWW: < http://epos.ure.cas.cz/dizertace/text/dizertace.pdf >.

[13]

Jiang Hai; Er Meng Joo; , "Improved linear predictive coding method for speech recognition," Information, Communications and Signal Processing, 2003 and the Fourth Pacific Rim Conference on Multimedia. Proceedings of the 2003 Joint Conference of the Fourth International Conference on , vol.3, no., pp. 1614- 1618 vol.3, 15-18 Dec. 2003

[14]

Meloun M.; Militký J.; , "Metoda hlavních komponent a exploratorní analýza vícerozměrných dat, " Zajištění kvality analytických výsledků, Komorní Lhotka, s. 50-62, Sborník 2003 [cit. 2009-11-20], Univerzita Pardubice, Fakulta Chemicko-technologická, Dostupné z WWW: < http://meloun.upce.cz/docs/publication/127a.pdf >.

39

2009-11-20].

Dostupné

z

WWW:

[15]

MetaCentrum [online]. 2009 [cit. 2009-11-20]. Dostupné z WWW: < http://meta.cesnet.cz/cs/>.

[16]

Pinquier, J.; Rouas, J.-L.; Andre-Obrecht, R.; , "A fusion study in speech/music classification," Acoustics, Speech, and Signal Processing, 2003. Proceedings. (ICASSP '03). 2003 IEEE International Conference on, vol.2, no., pp. II- 17-20 vol.2, 6-10 April 2003

[17]

Psutka, J.; , "Komunikace s počítačem mluvenou řečí," Academia, Praha, 1995, ISBN 80-200-0203-0.

[18]

Psutka, J.; Müller, L.; Matoušek, J.; Radová, V.; , "Mluvíme s počítačem česky, " Academia, Prague, 2006, ISBN 80-200-1309-1.

[19]

Scheirer E.; Slaney M.; , "Construction and Evaluation of a Robust Multifeature Speech/Music Discriminator", Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing, Vol.1, pp. 1331-1334, April 1997.

[20]

Sigmund M.; , "Zpracování řečových signálů, " skripta, rok 2007, Fakulta elektrotechniky a komunikačních technologií, VUT Brno.

[21]

Soltani, K.; Ainon, R.N.; , "Speech emotion detection based on neural networks," Signal Processing and Its Applications, 2007. ISSPA 2007. 9th International Symposium on , vol., no., pp.1-3, 12-15 Feb. 2007.

[22]

Vidrascu L.; Devillers L.; , "A Five emotion classes detection in real-world call center data: the use of various types of paralinguistic features, " in International workshop on Paralinguistic Speech - between models and data, ParaLing, 2007 [cit. 2009-11-20], Dostupné z WWW: < http://www2.dfki.de/paraling07/papers/05.pdf >.

[23]

Wei Han; Cheong-Fat Chan; Chiu-Sing Choy; Kong-Pang Pun; , "An efficient MFCC extraction method in speech recognition," Circuits and Systems, 2006. ISCAS 2006. Proceedings. 2006 IEEE International Symposium on, vol., no., pp.4 pp., 0-0 0.

[24]

Youtube [online]. 2009 [cit. 2009-11-20]. Dostupné z WWW: .

[25]

Žižka Jan; , "Support Vector Machines (SVM), " Fakulta Informatiky, Masarykova Univerzita, Brno 2005, Dostupné z WWW: .

40

Seznam použitých zkratek, symbolů a veličin α

koeficient preemfáze

Δ

derivace

∑

kovarianční matice

µ

střední hodnota

a

koeficienty lineární predikce

ACF

autokorelační funkce

APD

průměrná hustota základního tónu

c

kepstrální koeficienty lineární predikce

d

Euklidovská vzdálenost

DFT

Diskrétní Fourierova transformace

DCT

Diskrétní Kosinová transformace

E

Energie

EGEE

Enabling Grids for E-sciencE

EGI

European Grid Initiative

f

kmitočet v Hz

F0

fundamentální frekvence - kmitočet základního tónu

F1

první formant

Fvz

vzorkovací kmitočet

FFT

rychlá Fourierova transformace

FMS

modulační spektrum banky filtrů

GMM

Gaussovy smíšené modely

HMM

Skryté Markovovy modely

HNR

výkon periodické části k výkonu šumu

Jitter

chvění hlasu

kNN

k-nejbližších sousedů

LDA

Lineární Diskriminační Analýza

LPC

Lineární predikční kódování

LPCC

Lineární kepstrální predikční kódování

M

řád prediktoru u LPC 41

MCME

Mel-kepstrální modulační energie

MCMS

Mel-kepstrální modulační spektrum

ME

modulační energie

MELBS

spektrum Melovské banky filtrů

MFCC

Mel-frekvenční kepstrální koeficienty

N

počet segmentů řečového signálu

NFFT

délka FFT

NHR

viz HNR

NN

Neuronové sítě

PCA

Analýza hlavních komponent

PLP

percepční lineární prediktivní analýza

RTPD

relativní tónová hustota energie

S[k]

výstupní výkon k-tého filtru Melovské banky

s[n]

navzorkovaný zvukový signál

s m n

sn po preemfázi

s m ′n

s m n po segmentaci

Shimmer

frekvenční rozsah hlasu

SNR

Odstup Signálu od Šumu

SVM

Metoda podpůrných vektorů

TEO

Teagrův operátor energie

w

signál okénka při segmentaci

X

výkonové spektrum signálu po DFT

ZCR

počet průchodů nulou

42

Příloha č. 1

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Neobsahuje řeč/obsahuje řeč 96 94 92 90 GMM 1 GMM 2 GMM 3

88 86

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Neobsahuje řeč/obsahuje řeč 98 96 94 92 90 GMM 1 GMM 2 GMM 3

88 86 5

10

15

20

25

30

35

40

45

50

55

60

Úspěšnost klasifikace [%] →

Počet redukovaných příznaků [-] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Neobsahuje para. signály/paralingvistické signály

98 97 96 95 94 93 92

GMM 1 GMM 2 GMM 3

91 90 89

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

43

50

55

60

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Neobsahuje para. signály/paralingvistické signály

98 97 96 95 94 93 92

GMM 1 GMM 2 GMM 3

91 90 89

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba se zpěvem/hudba 85 80 75 70 65 60

GMM 1 GMM 2 GMM 3

55 50

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba se zpěvem/hudba 85 80 75 70 65 60

GMM 1 GMM 2 GMM 3

55 50

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

44

50

55

60

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Smích/pláč 90 85 80 75 70 65 60

GMM 1 GMM 2 GMM 3

55 50

5

10

15

20

25

30

35

40

45

50

55

60

Úspěšnost klasifikace [%] →

Počet redukovaných příznaků [-] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Smích/pláč

90 85 80 75 70 65 60

GMM 1 GMM 2 GMM 3

55 50

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Řeč s hudbou v pozadí/řeč 90

80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

45

50

55

60

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Řeč s hudbou v pozadí/řeč

90 85 80 75 70 65 60

GMM 1 GMM 2 GMM 3

55 50

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

46

50

55

60

Příloha č. 2

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba se zpěvem/smích 90 85 80 75 70 65 60

GMM 1 GMM 2 GMM 3

55 50

5

10

15

20

25

30

35

40

45

50

55

60

Úspěšnost klasifikace [%] →

Počet redukovaných příznaků [-] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba se zpěvem/smích

90 85 80 75 70 65 60

GMM 1 GMM 2 GMM 3

55 50

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba se zpěvem/řeč s hudbou v pozadí 90

80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

47

50

55

60

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba se zpěvem/řeč s hudbou v pozadí 90

80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba se zpěvem/řeč 90

80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Úspěšnost klasifikace [%] →

Počet redukovaných příznaků [-] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba se zpěvem/řeč

100 90 80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

48

50

55

60

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba se zpěvem/pláč 90

80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Úspěšnost klasifikace [%] →

Počet redukovaných příznaků [-] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba se zpěvem/pláč

100 90 80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Úspěšnost klasifikace [%] →

Počet redukovaných příznaků [-] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba/smích

100 90 80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

49

50

55

60

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba/smích

100 90 80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Úspěšnost klasifikace [%] →

Počet redukovaných příznaků [-] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba/řeč s hudbou v pozadí

100 90 80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba/řeč s hudbou v pozadí 90

80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

50

50

55

60

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba/řeč 90

80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba/řeč 90

80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Úspěšnost klasifikace [%] →

Počet redukovaných příznaků [-] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba/pláč

100 90 80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

51

50

55

60

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Hudba/pláč

100 90 80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Smích/řeč s hudbou v pozadí 90

80

70

GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Úspěšnost klasifikace [%] →

Počet redukovaných příznaků [-] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Smích/řeč s hudbou v pozadí

95 90 85 80 75 70 65

GMM 1 GMM 2 GMM 3

60 55 50

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

52

50

55

60

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Smích/řeč 90

80

70 GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Smích/řeč 90

80

70

GMM 1 GMM 2 GMM 3

60

50

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Řeč s hudbou v pozadí/pláč 100 90 80 70 GMM 1 GMM 2 GMM 3

60 50

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

53

50

55

60

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Řeč s hudbou v pozadí/pláč 100 90 80 70 GMM 1 GMM 2 GMM 3

60 50

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s diagonální kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Řeč/pláč 100 90 80 70 GMM 1 GMM 2 GMM 3

60 50

5

10

15

20

25

30

35

40

45

50

55

60

Počet redukovaných příznaků [-] →

Úspěšnost klasifikace [%] →

Závislost úspěšnosti GMM klasifikátoru, s plnou kovarianční maticí, na počtu nejlepších příznaků a pro různý počet Gaussových funkcí, klasifikace: Řeč/pláč 100 90 80 70 GMM 1 GMM 2 GMM 3

60 50

5

10

15

20

25

30

35

40

45

Počet redukovaných příznaků [-] →

54

50

55

60