White Paper Series
Série Bílé knihy
THE CZECH ČEŠTINA LANGUAGE IN V DIGITÁLNÍM THE DIGITAL VĚKU AGE Ondřej Bojar Silvie Cinková Jan Hajič Barbora Hladká Vladislav Kuboň Jiří Mírovský Jarmila Panevová Nino Peterek Johanka Spoustová Zdeněk Žabokrtský
White Paper Series
Série Bílé knihy
THE CZECH ČEŠTINA LANGUAGE IN V DIGITÁLNÍM THE DIGITAL VĚKU AGE Ondřej Bojar Charles University in Prague Silvie Cinková Charles University in Prague Jan Hajič Charles University in Prague Barbora Hladká Charles University in Prague Vladislav Kuboň Charles University in Prague Jiří Mírovský Charles University in Prague Jarmila Panevová Charles University in Prague Nino Peterek Charles University in Prague Johanka Spoustová Charles University in Prague Zdeněk Žabokrtský Charles University in Prague
Georg Rehm, Hans Uszkoreit (editoři, editors)
PŘEDMLUVA PREFACE
Tato Bílá kniha je součástí série, která podporuje znalosti
is white paper is part of a series that promotes
jazykových technologií a jejich potenciál. Je určena
knowledge about language technology and its poten-
pedagogům, novinářům, politikům, různým jazykovým
tial. It addresses educators, journalists, politicians, lan-
komunitám a dalším. Dostupnost a využívání jazykových
guage communities and others. e availability and
technologií se v Evropě u jednotlivých jazyků liší. V
use of language technology in Europe varies between
důsledku toho se pro každý jazyk liší také kroky, které je
languages. Consequently, the actions that are required
nutné podniknout pro další podporu výzkumu a vývoje
to further support research and development of lan-
jazykových technologií. Tyto plánované postupy závisí
guage technologies also differ for each language. e
na mnoha faktorech, jako je složitost daného jazyka
required actions depend on many factors, such as the
či velikost jeho komunity. META-NET (excelentní
complexity of a given language and the size of its com-
internetová síť) financovaný Evropskou komisí provedl
munity. META-NET, a Network of Excellence funded
analýzu současných jazykových zdrojů a technologií.
by the European Commission, has conducted an anal-
Tato analýza se zaměřila na 23 oficiálních evropských
ysis of current language resources and technologies.
jazyků a na další významné národní a regionální jazyky
is analysis focused on the 23 official European lan-
v Evropě. Výsledky analýzy naznačují, že ve výzkumu
guages as well as other important national and regional
každého jazyka je značné množství mezer. Podrobnější
languages in Europe. e results of this analysis sug-
expertní analýza a hodnocení současné situace přitom
gest that there are many significant research gaps for
přispějí k maximalizaci účinku dalšího výzkumu a
each language. A more detailed expert analysis and as-
minimalizaci možných rizik. META-NET se skládá
sessment of the current situation will help maximize
z 54 výzkumných center z 33 zemí, které pracují s
the impact of additional research and minimize any
podílníky z komerčních firem, vládních agentur, průmyslu, risks. META-NET consists of 54 research centres from výzkumných organizací, sowarových firem, s poskytovateli 33 countries that are working with stakeholders from technologií a evropských univerzit. Dohromady mají
commercial businesses, government agencies, indus-
jednu společnou vizi – vyvíjejí strategický plán výzkumu,
try, research organisations, soware companies, tech-
který ukazuje, jak aplikace jazykových technologií
nology providers and European universities. Together,
mohou do roku 2020 vyřešit případné mezery ve
they are creating a common technology vision while
výzkumu.
developing a strategic research agenda that shows how language technology applications can address any research gaps by 2020.
III
META-NET – offi
[email protected] – http://www.meta-net.eu
Autoři tohoto dokumentu děkují autorům Bílé knihy pro němčinu za povolení použít vybrané jazykově nezávislé části z jejich dokumentu [1]. Zároveň děkujeme za milou spolupráci kolegům Jan Cuřínovi, Evě Hajičové, Jirkovi Hanovi, Karlu Olivovi, Magdaleně Rysové, Magdě Ševčíkové, Ivanu Šmilauerovi a Danielu Zemanovi.
e authors of this document are grateful to the authors of the white paper on German for permission to re-use selected language-independent materials from their document [1]. We also wish to thank our colleagues Jan Cuřín, Eva Hajičová, Jirka Hana, Karel Oliva, Magdalena Rysová, Magda Ševčíková, Ivan Šmilauer, Daniel Zeman for their nice cooperation.
Práce na této Bílé knize byla financována 7. Rámcovým programem Evropské komise a Programem na podporu politiky informačních a komunikačních technologií (ICT Policy Support Programme of the European Commission) na základě smluv T4ME (grantové dohoda 249 119), CESAR (grantová dohoda 271 022), METANET4U (grantová dohoda 270 893) a META-NORD (grantová dohoda 270 899).
e development of this white paper has been funded by the Seventh Framework Programme and the ICT Policy Support Programme of the European Commission under the contracts T4ME (Grant Agreement 249 119), CESAR (Grant Agreement 271 022), METANET4U (Grant Agreement 270 893) and META-NORD (Grant Agreement 270 899).
IV
OBSAH CONTENTS ČEŠTINA V DIGITÁLNÍM VĚKU 1 Shrnutí
1
2 Riziko pro naše jazyky a výzva pro jazykové technologie
3
2.1
Jazykové bariéry brzdí evropskou informační společnost . . . . . . . . . . . . . . . . . . . . . .
3
2.2
Naše jazyky v ohrožení . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
2.3
Jazykové technologie jsou technologiemi klíčovými . . . . . . . . . . . . . . . . . . . . . . . . .
4
2.4
Příležitosti pro jazykové technologie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
2.5
Výzvy pro jazykové technologie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
2.6
Osvojování jazyka u lidí a u strojů . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
3 Čeština v evropské informační společnosti
8
3.1
Obecné informace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
3.2
Specifika češtiny . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
3.3
Současný vývoj . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.4
Kultivace jazyka v České republice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.5
Jazyk ve vzdělávání . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.6
Mezinárodní aspekty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.7
Čeština na internetu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4 Podpora jazykových technologií pro češtinu
15
4.1 Architektura aplikací . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 4.2 Základní aplikační oblasti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 4.3 Další aplikační oblasti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.4 Vzdělávací programy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 4.5 Národní projekty a iniciativy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 4.6 Dostupné nástroje a zdroje pro češtinu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 4.7 Porovnání napříč jazyky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 4.8 Závěr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
5 O síti META-NET
35
THE CZECH LANGUAGE IN THE DIGITAL AGE 1 Executive Summary
37
2 Languages at Risk: a Challenge for Language Technology
39
2.1
Language Borders Hold back the European Information Society . . . . . . . . . . . . . . . . . . 40
2.2
Our Languages at Risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.3
Language Technology is a Key Enabling Technology . . . . . . . . . . . . . . . . . . . . . . . . 40
2.4
Opportunities for Language Technology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.5
Challenges Facing Language Technology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.6
Language Acquisition in Humans and Machines . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3 Czech in the European Information Society
44
3.1
General Facts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.2
Particularities of the Czech Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3
Recent Developments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4
Language Cultivation in the Czech Republic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.5
Language in Education . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.6
International Aspects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.7
Czech on the Internet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4 Language Technology Support for Czech
52
4.1 Application Architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.2 Core Application Areas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.3 Other Application Areas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 4.4 Educational Programmes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 4.5 National Projects and Initiatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 4.6 Availability of tools and resources for Czech . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 4.7 Cross-language comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 4.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5 About META-NET
71
A Odkazy -- References
73
B Členové META-NET -- META-NET Members
77
C Série Bílé knihy META-NET -- The META-NET White Paper Series
81
1 SHRNUTÍ Evropa se během posledních 60 let stala zřetelnou
60 evropských jazyků nepřekonatelná překážka pro
politickou a ekonomickou sítí, přesto je ale kulturně
občany našeho kontinentu, pro jejich ekonomiku,
a jazykově stále velmi různorodá. Znamená to, že
jejich politickou diskusi a vědecký pokrok. Řešením
každodenní komunikace mezi evropskými občany (ať už
je vybudování klíčových technologií, které budou
přecházíme z portugalštiny do polštiny nebo z italštiny
nabízet evropským subjektům velké výhody, a to
do islandštiny) i komunikace v oblasti podnikání a
nejen v rámci společného evropského trhu, ale i v
politiky se nevyhnutelně potýká s jazykovou bariérou.
obchodních vztazích se třetími zeměmi, zejména v nově se etablujících ekonomikách. Abychom dosáhli
Jazykové technologie staví mosty pro budoucnost Evropy.
tohoto cíle a uchránili evropskou kulturní a jazykovou rozmanitost, musíme nejprve provést systematickou analýzu jazykových aspektů všech evropských jazyků
Orgány EU utratí asi jednu miliardu eur ročně na překládání textů a tlumočení mluvené komunikace, aby řešily otázku mnohojazyčnosti. Musí to však být taková zátěž? Moderní jazykové technologie (language technology, LT) a lingvistický výzkum mohou významně přispět k bourání jazykových hranic. Když se jazykové technologie spojí s inteligentními zařízeními a aplikacemi, budou v budoucnosti schopné pomáhat
a analýzu současného stavu podpory jazykových technologií. Pak budou moci jazykové technologie sloužit jako jedinečný most mezi evropskými jazyky. Nástroje pro automatický překlad a zpracování řeči, které jsou v současné době dostupné na trhu, ovšem stále ještě tohoto náročného cíle nedosahují. Dominantní subjekty v této oblasti jsou převážně soukromé podniky se sídlem v Severní Americe. Již na konci 70.
Evropanům jednoduše komunikovat a obchodovat, i když nemluví společnou řečí. Česká ekonomika má
Jazykové technologie jako klíč k budoucnosti.
na jednotném evropském trhu velkou výhodu. Přesto je možné, že jazykové bariéry způsobí např. zánik
let si EU uvědomila nesmírný význam jazykových
některých podniků, a to zejména jedná-li se o malé
technologií jako nástroje k dosažení evropské jednoty
a střední podniky, které nemají finanční prostředky
a začala financovat první výzkumné projekty, např.
na zlepšení situace. Jedinou (i když nemyslitelnou)
EUROTRA. Ve stejné době začaly vznikat vnitrostátní
alternativou řešení otázky mnohojazyčné Evropy by
projekty, které sice přinášely cenné výsledky, ale
bylo umožnit, aby jeden jazyk získal dominantní
nikdy nevedly k evropské spolupráci. Ostatní
postavení a nakonec nahradil všechny ostatní. Bez
mnohojazyčné komunity jako Indie (22 úředních
technologické podpory, je zvládnutí 23 oficiálních
jazyků) a Jihoafrická republika (11 úředních jazyků)
jazyků členských států Evropské unie a dalších cca
naopak na rozdíl od tohoto vysoce selektivního
1
financování nedávno vytvořily dlouhodobé národní
vidět na počtu prodaných dceřiných společností. Např.
programy pro jazykový výzkum a technologický
společnost Trados (založena v roce 1984) byla v roce
rozvoj. Dominantní subjekty v oblasti jazykových
2005 prodána společnosti SDL se sídlem ve Velké
technologií se dnes spoléhají na nepřesné statistické
Británii.
postupy, které nevyužívají propracované jazykovědné metody a znalosti. Například automatický překlad vět funguje na principu porovnávání věty, kterou
Jazykové technologie pomáhají sjednotit Evropu.
chceme automaticky přeložit, s tisíci jinými, které byly přeloženy lidmi. Kvalita výstupu do značné míry
Na základě dosud získaných poznatků se zdá, že
závisí na velikosti a kvalitě daného vzorku. Zatímco
dnešní „hybridní“ jazykové technologie zahrnující
automatický překlad textu může u „velkých“ jazyků
hloubkové zpracování i statistické metody umožní
s jednoduchou morfologickou strukturou dosáhnout
překlenout propast mezi všemi evropskými jazyky.
přiměřené kvality, u složitějších jazyků nebo u jazyků s
Jak tato série Bílých knih ukazuje, členské státy v
nižším počtem příkladového materiálu je tato statistická
Evropě se značně liší v ochotě a připravenosti řešit
metoda odsouzena k neúspěchu. Evropská unie se
jazykové otázky. Velké rozdíly jsou také v oblasti
proto rozhodla financovat projekty, jako je EuroMatrix,
výzkumu. Čeština patří mezi „menší“ jazyky EU, a
EuroMatrixPlus (fungující od roku 2006) a iTranslate4
proto je zapotřebí nejprve provádět další specializované
(fungující od roku 2010), které provádějí základní a
výzkumy, než pro ni budou jazykové technologie
aplikovaný výzkum a snaží se vytvořit vysoce kvalitní
skutečně účinné a než budou moci sloužit pro
jazykové technologie pro všechny evropské jazyky.
každodenní použití. Dlouhodobým cílem projektu
Hlubší analýza struktury jazyků je jedinou možnou
META-NET je představit kvalitní jazykové technologie
cestou, jak vytvářet aplikace, které fungují v rámci
pro všechny jazyky v EU. Tyto technologie pomohou
celé škály evropských jazyků dobře. Evropský výzkum
evropským jazykům překonat dosavadní bariéry a
dosáhl v této oblasti již řady úspěchů. Například
navázat vzájemné spojení. To vyžaduje, aby všechny
překladatelské služby v Evropské unii nyní používají
zúčastněné strany – v politice, výzkumu, podnikání
MOSES, open-source soware pro strojový překlad,
i společnosti – spojily v budoucnosti své síly. Tento
který byl vyvinut zejména prostřednictvím evropských
dokument doplňuje řadu dalších činností projektu
výzkumných projektů. Spíše než stavět na výsledcích
META-NET (viz příloha). Aktuální informace, např.
těchto projektů má Evropa tendenci pokračovat v
aktuální verzi plánů projektu META-NET [2] nebo
izolované výzkumné činnosti jen s nepatrným vlivem
strategický plán výzkumu (SRA), najdete na webových
na trh. Ekonomickou hodnotu počátečního úsilí lze
stránkách http://www.meta-net.eu.
2
2 RIZIKO PRO NAŠE JAZYKY A VÝZVA PRO JAZYKOVÉ TECHNOLOGIE Nedávný vývoj digitálních informačních a komunikačních DTP (desktop publishing) soware nahradil psaní technologií je někdy srovnáván s Gutenbergovým vynálezem knihtisku. Co nám může tato analogie říct o budoucnosti evropské informační společnosti a zejména o budoucnosti našich jazyků?
na stroji a klasickou sazbu;
Microso PowerPoint nahradil zpětný projektor a
fólie;
e-mail pošle a doručí dokumenty rychleji než fax;
Skype nabízí levné volání po internetu a virtuální
Jsme svědky digitální revoluce srovnatelné s Guthenbergovým vynálezem knihtisku.
setkávání;
formáty pro kódování audia a videa umožňují
snadno přenášet multimediální obsah; Po Gutenbergově vynálezu nastal skutečný zlom v komunikaci a nabývání vědomostí, a to např. Lutherovým překladem Bible do národního jazyka. V následujících stoletích se rozvíjely kulturní nástroje tak, aby lépe zvládaly zpracování jazyka a výměnu znalostí:
pravopisná a gramatická standardizace hlavních
jazyků umožnila rychlé rozšíření nových vědeckých
vyhledávače zajišťují na základě klíčových slov
přístup na webové stránky;
on-line služby jako Google Translate poskytují
rychlé orientační překlady;
sociální platformy médií jako Facebook, Twitter a
Google+ ulehčují komunikaci, spolupráci a sdílení informací.
a intelektuálních myšlenek;
vývoj úředních jazyků umožnil lidem komunikovat
v rámci určitých (často politických) hranic;
učení a překlad jazyků umožnily vyměňování
informací mezi jazyky;
Ačkoli jsou tyto prostředky a aplikace prospěšné, stále ještě nejsou schopné dlouhodobě podporovat fungující, vícejazyčnou evropskou společnost všude tam, kam mohou volně proudit informace a zboží.
vytvoření editorských a bibliografických pravidel
zajistilo kvalitu a dostupnost tištených materiálů;
vytvoření různých médií, jako jsou noviny,
rozhlas, televize, knihy a jiné, uspokojilo odlišné komunikační potřeby.
2.1 JAZYKOVÉ BARIÉRY BRZDÍ EVROPSKOU INFORMAČNÍ SPOLEČNOST
V uplynulých dvaceti letech pomohly informační
Nemůžeme přesně předvídat, jak bude informační
technologie zautomatizovat a usnadnit mnoho procesů:
společnost v budoucnosti vypadat. Je ovšem velmi
3
pravděpodobné,
že
revoluce
v
komunikačních
technologiích spojí lidi mluvící různými jazyky novými cestami. To donutí jednotlivce učit se nové jazyky a zvláště projektanty vytvářet nové technologické aplikace, aby zajistili vzájemné porozumění a přístup ke sdíleným vědomostem. V globálním ekonomickém a informačním světě se vzájemně ovlivňuje více jazyků, mluvčích a obsahů pomocí nových typů médií rychleji. Současná obliba sociálních sítí (Wikipedia, Facebook,
2.2 NAŠE JAZYKY V OHROŽENÍ Zatímco knihtisk pomohl zvýšit výměnu informací v Evropě, zároveň také vedl k zániku mnoha evropských jazyků. V regionálních a menšinových jazycích se tisklo zřídka a jazyky jako cornwallština a dalmátština se omezily na ústní podobu, což postupně omezilo rozsah jejich užívání. Bude mít internet stejný dopad na naše jazyky?
Twitter, YouTube a nově Google+) je pouze špičkou ledovce.
Globální ekonomika a informační prostor nás konfrontují s více jazyky, s více mluvčími a s větším objemem informací.
Současné velké množství jazyků je jednou z nejdůležitějších kulturních předností Evropy a je i nepostradatelnou součástí její úspěšné existence. Evropské jazyky, celkem jich je asi 80, jsou jedním z nejbohatších a nejdůležitějších kulturních vlastnictví a jsou podstatnou součástí jedinečného evropského modelu [4]. Zatímco jazyky jako angličtina a španělština
V současné době můžeme během pár vteřin přenést
na nově vznikajícím digitálním trhu pravděpodobně
gigabyty textu po celém světě, než příjemce zjistí,
přežijí, mnoho evropských jazyků by se mohlo stát v
že je v jazyce, kterému nerozumí. Podle nedávné
tzv. síťové společnosti bezvýznamnými. To by oslabilo
zprávy Evropské komise 57% uživatelů internetu v
světové postavení Evropy a šlo proti strategickým cílům,
Evropě nakupuje zboží a služby v jazycích, které nejsou
které slibují rovnocenné zapojení každého evropského
jejich jazyky mateřskými. (Angličtina je nejběžnějším
občana bez ohledu na jeho jazyk. Podle zprávy
cizím jazykem, následuje francouzština, němčina a
organizace UNESCO o vícejazyčnosti jsou jazyky
španělština.) 55% uživatelů v cizím jazyce čte, zatímco
zásadním vyjadřovacím prostředkem pro uplatňování
pouze 35% používá jiný jazyk k psaní e-mailů nebo
základních práv, jako je svoboda politického projevu,
posílání komentářů na web [3]. Před několika lety
vzdělávání se a zapojení do společnosti [5].
se angličtina mohla stát společným jazykem webu – převážná většina obsahu na webu byla v angličtině –
Tato všudypřítomná digitální propast si kvůli
2.3 JAZYKOVÉ TECHNOLOGIE JSOU TECHNOLOGIEMI KLÍČOVÝMI
jazykovým hranicím překvapivě nezískala příliš
Investiční snahy věnované udržování jazyků se v
pozornosti veřejnosti. Přesto ale vzbuzuje velmi
minulosti zaměřovaly na jazykové vzdělávání a překlad.
naléhavou otázku: které evropské jazyky budou
Podle jednoho odhadu se v roce 2008 evropský trh
prosperovat v propojené informační a znalostní
pro překlad, interpretaci, sowarovou lokalizaci a
společnosti a které jsou odsouzeny k záhubě?
internetovou globalizaci pohyboval na úrovni 8,4
ale situace se nyní zcela změnila. Množství on-line obsahu v jiných evropských (stejně jako asijských a středovýchodních) jazycích rapidně vzrostlo.
4
miliard € a předpokládá se, že ročně vzroste o 10% [6].
pevně integrované do klíčových sowarových prostředí.
Přesto toto číslo pokrývá pouze malou část současných
Bez jazykových technologií nebudeme v blízké
a budoucích potřeb v mezijazykové komunikaci.
budoucnosti schopni dosáhnout skutečně efektivních
Nejpřesvědčivější řešení, které by zajistilo rozsah i
interaktivních,
hloubku užívání jazyků v Evropě pro budoucnost,
uživatelských zkušeností.
multimediálních
a
vícejazyčných
je užívání vhodných technologií, právě tak, jako když užíváme technologie např. pro řešení dopravy,
všechny formy psaného textu a mluveného diskurzu)
2.4 PŘÍLEŽITOSTI PRO JAZYKOVÉ TECHNOLOGIE
pomáhají lidem spolupracovat, podnikat, sdílet znalosti
Ve světě tisku bylo technologickým průlomem rychlé
a podílet se na sociální a politické debatě, a to bez
množení stran textu za použití vhodné tiskárny.
ohledu na jazykové bariéry a počítačové dovednosti.
Lidé museli vynakládat usilovnou práci na to, aby
Tyto technologie pracují často neviditelně uvnitř
vyhledávali, četli, překládali a shrnovali poznatky.
komplexního sowarového systému, aby nám pomohly:
Museli jsme čekat až na Edisona, abychom mohli
energetických potřeb či potřeb pro handicapované. Digitální jazykové technologie (zaměřující se na
najít informace pomocí internetového vyhledávače;
zkontrolovat pravopis a gramatiku v textovém
editoru;
nahrávat mluvený jazyk – a jeho technologie opět jednoduše dělala analogové kopie. Digitální jazyková technologie může nyní zautomatizovat samotné procesy překladu, produkci textů a management znalostí pro
prohlížet nabídku zboží v on-line obchodech;
všechny evropské jazyky. Může také posílit intuitivní
poslouchat slovní instrukce navigačního systému v
jazyková/řečová rozhraní pro domácí elektroniku,
autě;
překládat webové stránky pomocí on-line služeb.
spotřebiče, nástroje, počítače a roboty. Reálné komerční a průmyslové aplikace jsou stále ještě v počátcích svého vývoje. Přesto úspěchy výzkumu a vývoje vytvářejí velké
Jazykové technologie se skládají z několika klíčových
příležitosti. Například strojový překlad už je v určitých
aplikací, které umožňují procesy v rámci širšího
oblastech poměrně přesný a některé experimentální
aplikačního systému. Účelem Bílých knih META-NET
aplikace poskytují multilinguální informační a znalostní
orientovaných na jazyk je zaměřit se na to, jak jsou pro
management stejně jako produkci textů (v mnoha
jednotlivé evropské jazyky tyto základní technologie
evropských jazycích). První jazykové aplikace jako
připravené.
hlasová uživatelská rozhraní a dialogové systémy byly stejně jako většina technologií vyvinuty pro vysoce specializované oblasti a často mají omezený výkon.
Evropa potřebuje robustní a dostupné jazykové technologie pro všechny evropské jazyky.
Jsou zde ale velké možnosti na trhu ve vzdělávacím a zábavním průmyslu v integraci jazykových technologií do her, kulturních památek, zábavně-vzdělávacích
Abychom si udrželi přední pozici v žebříčku
balíčků, knihoven, simulačních prostředí a vzdělávacích
inovačního potenciálu (Global Innovation), bude
programů. Mobilní informační služby, soware na
Evropa potřebovat jazykové technologie přizpůsobené
výuku jazyků podporovanou počítačem, e-learningové
všem evropským jazykům, které budou silné, dostupné a
prostředí, nástroje na sebehodnocení a soware
5
důležitou roli. Popularita sociálních mediálních
2.5 VÝZVY PRO JAZYKOVÉ TECHNOLOGIE
aplikací jako Twitter a Facebook ukazuje další potřebu
Ačkoliv v několika posledních letech dosáhly jazykové
sofistikovaných jazykových technologií, které mohou
technologie značného pokroku, současné tempo
sledovat příspěvky, sumarizovat diskusi, odhadovat
technologického vývoje a inovace produktů je příliš
názorové trendy, odhalovat emocionální reakce,
pomalé. Široce používané technologie jako korektory
identifikovat porušení autorských práv či zneužití
pravopisu a gramatiky v textových editorech jsou
nahrávky.
typicky jednojazyčné a jsou k dispozici pouze pro
na odhalení plagiátů jsou pouze některé aplikační oblasti, ve kterých mohou hrát jazykové technologie
hrstku jazyků. Využití on-line služeb strojového překladu, ačkoli jsou užitečné pro rychlé generování přiměřeně odpovídajících textů, je problematické,
Jazykové technologie pomáhají překonat úskalí jazykové rozmanitosti.
když potřebujeme přesné a úplné překlady. Vzhledem ke složitosti přirozeného jazyka je modelování našich jazyků v oblasti sowaru a jejich testování v reálném světě zdlouhavé, nákladné a vyžaduje trvalé finanční závazky. Evropa proto musí zachovat
Jazykové technologie představují velkou příležitost
svoji průkopnickou úlohu při řešení technologických
pro Evropskou unii. Mohou pomoci řešit složitou
otázek týkajících se vícejazyčných komunit tím, že
problematiku vícejazyčnosti v Evropě, tj. skutečnost, že
bude vymýšlet nové způsoby k urychlení vývoje na
vedle sebe v rámci evropského podnikání, organizací a
celém území. To by mohlo zahrnovat i komputační
škol mohou existovat odlišné přirozené jazyky. Občané
pokroky a techniky jako crowdsourcing („spolutvorba“,
však potřebují komunikovat přes tyto jazykové hranice
„moudrost davu“).
křižující společný evropský trh a jazykové technologie mohou pomoci překonat tuto poslední bariéru tím, že podpoří volné a otevřené užívání jednotlivých jazyků. Podíváme-li se ještě více do budoucnosti,
Současné tempo technologického pokroku je příliš pomalé.
inovativní evropské vícejazyčné jazykové technologie budou sloužit jako měřítko pro naše světové partnery, kteří je mohou uplatnit pro své vlastní vícejazyčné jako forma „pomocné“ technologie, která pomáhá
2.6 OSVOJOVÁNÍ JAZYKA U LIDÍ A U STROJŮ
překonat „handicap“ jazykové diversity a navzájem
Pro ilustraci, jak počítače zacházejí s jazykem a proč je
zpřístupňuje jazykové komunity.
obtížné naprogramovat jazyky pro počítače, se krátce
Jednou oblastí výzkumu je také využití jazykových
podívejme na to, jak si lidé osvojují první a druhý
technologií pro záchranné akce v oblastech postižených
jazyk, a pak uvidíme, jak fungují systémy jazykových
katastrofami, kde výkonnost může být otázkou života
technologií. Lidé si osvojují jazykové dovednosti dvěma
a smrti: budoucí inteligentní roboti s mezijazykovými
různými způsoby. Děti si osvojují jazyk posloucháním
schopnostmi mají potenciál zachraňovat lidské životy.
reálných interakcí mezi rodiči, sourozenci a ostatními
komunity. Jazykové technologie mohou být chápány
6
členy rodiny. Přibližně od druhého roku říkají první
trénovacích cyklů, i když kvalita se může libovolně
slova a krátké věty. To je možné jen díky tomu, že
měnit.
lidé mají genetickou dispozici napodobovat a poté
Druhý přístup k jazykové technologii a strojovému
racionalizovat to, co slyší.
překladu je vytvořit systémy založené na pravidlech.
Učení se druhému jazyku ve starším věku vyžaduje větší
Odborníci v oblasti lingvistiky, komputační lingvistiky
úsilí především proto, že dítě není začleněné do jazykové
a počítačové vědy musí nejprve zakódovat gramatickou
komunity rodilých mluvčích. Cizí jazyky jsou ve škole
analýzu (pravidla překladu) a sestavit seznamy slovních
zpravidla osvojovány učením se gramatických struktur,
jednotek (slovníky). To je časově velmi náročné a
slovní zásoby a pravopisu, a to pomocí cvičení, která
pracné. Některé hlavní systémy strojového překladu
popisují jazyk na základě abstraktních pravidel, tabulek
založené na pravidlech se soustavně vyvíjely po více
a příkladů. Učení se cizímu jazyku je těžší s přibývajícím
než dvacet let. Velkou výhodou těchto systémů je, že
věkem.
odborníci mají detailnější kontrolu nad zpracováním jazyka. Díky tomu je možné systematicky opravovat
Lidé nabývají znalostí jazyka dvěma různými způsoby: učením se příkladů a učením se základním pravidlům jazyka.
chyby v sowaru a poskytovat podrobné zpětné vazby uživatelům, zejména když jsou tyto systémy využívány pro výuku jazyků. Vzhledem k vysokým nákladům na tuto práci byla zatím jazyková technologie založená na
Dva hlavní typy systémů jazykových technologií si
pravidlech vyvinuta pouze pro hlavní jazyky.
„osvojují“ jazykové dovednosti podobným způsobem.
Protože silné a slabé stránky statistických systémů a
Statistické přístupy (tedy „založené na datech“) získávají
systémů založených na pravidlech mají tendenci se
jazykové znalosti z rozsáhlých souborů konkrétních
doplňovat, zaměřuje se současný výzkum na hybridní
příkladových textů. Zatímco použít text pro trénink,
přístupy, které obě metody spojují. Tyto přístupy jsou
např. kontrolu pravopisu, je v jednom jazyce dostačující,
ale v průmyslových aplikacích zatím méně úspěšné než
pro trénink strojového systému překladu musí být k
ve výzkumné laboratoři.
dispozici paralelní texty ve dvou (nebo více) jazycích.
Jak jsme viděli v této kapitole, mnoho aplikací široce
Algoritmus strojového učení se potom „naučí“ vzorce
používaných v dnešní informační společnosti do značné
toho, jak jsou slova, krátké fráze a celé věty překládány.
míry závisí na jazykových technologiích. To platí
Tento statistický přístup potřebuje milióny vět a kvalita
zejména o ekonomickém a informačním prostoru
výkonu se zvyšuje s množstvím analyzovaného textu.
Evropy vzhledem k její vícejazyčné komunitě. Ačkoliv
To je jedním z důvodů, proč provozovatelé vyhledávačů
jazykové technologie dosáhly v posledních několika
dychtivě shromažďují co nejvíce možných písemných
letech značného pokroku, je zde ještě velký potenciál
materiálů. Oprava pravopisu v textových editorech a
pro zlepšení kvality jejich systémů. V následující části
služby jako vyhledávač Google a překladač Google
popíšeme roli češtiny v evropské informační společnosti
plně spoléhají na statistické přístupy. Velkou výhodou
a zhodnotíme současný stav jazykových technologií pro
statistiky je, že stroj se učí rychle v kontinuální sérii
češtinu.
7
3 ČEŠTINA V EVROPSKÉ INFORMAČNÍ SPOLEČNOSTI 3.1 OBECNÉ INFORMACE
ve školním vzdělávání a je silně preferovaná v oficiálních
Česká republika (dále ČR) se skládá ze tří historických
spisovné češtiny nicméně není předepsáno žádným
částí: Čech, Moravy a Slezska. Jazyk používaný ve všech
zákonem. Zásady jazykové politiky a jazykového
třech „zemích“ je čeština, jeden ze západoslovanských
plánování jsou zahrnuty ve Všeobecné deklaraci
jazyků. Čeština má asi 10 milionů mluvčích [7]. V
lidských práv a svobod. Ta mimo jiné zaručuje občanům
jiných částech světa mluví česky asi 200 000 mluvčích,
patřícím k menšinám právo užívat svého jazyka v oblasti
jde převážně o emigranty a jejich děti, kteří opustili
vzdělávání, ve správních a soudních řízeních. Česká
zemi ve velkých migračních vlnách po první a druhé
vláda pověřuje regulací jazyka odborné a pedagogické
světové válce a mezi lety 1948 a 1968. Mnoho mluvčích
instituce, především Ústav pro jazyk český Akademie
češtiny lze nalézt hlavně v Rakousku (zejména ve Vídni),
věd (viz usnesení vlády České republiky z 26. listopadu
Polsku, Německu, Ukrajině, Chorvatsku (většinou v
2003, č. 1189 + P). ČR patří k prvním zemím, které
oblasti Daruvaru), v západním Rumunsku (v Banátu),
začaly využívat Společný evropský referenční rámec pro
v Austrálii a v Kanadě. Několik desítek tisíc Čechů
jazyky. Jazykové regulace se provádějí na základě široké
stále žije i po rozdělení Československa v roce 1993 ve
diskuse mezi jazykovědci a tou částí veřejnosti, která
Slovenské republice. Největší skupina českých mluvčích
se zajímá o vývoj jazyka (novináři, herci, profesionální
mimo ČR ale žije ve Spojených státech, ve městech jako
mluvčí apod.). Ústav pro jazyk český připravuje příručky
New York, Chicago a Cleveland a v mnoha komunitách
doporučující kodifikovanou verzi ortoepie, pravopisu,
v Texasu, Wisconsinu, Minnesotě a Nebrasce. Podle
morfologie a slovní zásoby. Veřejnost je velmi citlivá na
amerického sčítání lidu žilo ve Spojených státech v roce
jazykové změny, obzvláště v oblasti pravopisu. Poslední
1990 více než 90 000 českých mluvčích [8].
dílčí změny pravopisu byly proto provedeny v roce 1993.
jednáních a ve sdělovacích prostředcích. Používání
Čeština je úředním jazykem v ČR, od května 2004 je také jedním z administrativních jazyků EU. Podle
Většina lidí dává v běžné komunikaci přednost
údajů z roku 2001 (kdy bylo dokončeno poslední sčítání
spíše jiným varietám jazyka než spisovné češtině.
lidu) patří 5,4% občanů ČR k menšinám. V průběhu
Nejrozšířenější varietou je tzv. obecná čeština (založená
správních, soudních a jiných úředních řízení se používá
na středočeském interdialektu), na Moravě a ve
spisovná čeština. Manuály a popis dováženého zboží
Slezsku se zbytek dialektů (hanáčtina, laština, moravská
musí obsahovat český překlad.
slovenština) aktivně používá v mluvené podobě,
Čeština má několik vrstev, a to zejména v mluvené
v Čechách jsou slyšet stopy severovýchodních a
podobě. Spisovná čeština je prestižní varieta používaná
jihozápadních dialektů [9]. Obecná čeština a dialekty se
8
liší od spisovné češtiny především v morfologii, méně ve
typů deklinace (např. neživotné maskulinum má ve
slovní zásobě a výslovnosti, další rozdíly jsou okrajové.
školních mluvnicích dva typy deklinace „hrad“ a „stroj“ s
Všechny variety češtiny jsou vzájemně srozumitelné.
gen. sg. „hradu“, resp. „stroje“; některá podstatná jména
Pro cizince, kteří studují češtinu, je však často matoucí
řazená pod vzor „hrad“ mají ovšem v gen. sg. koncovku
tzv. střídání kódů přítomné v komunikaci jednotlivých
–a („lesa“), některá mají koncovky obě („bez rybníku“,
rodilých mluvčích a závislé na tom, zda se jedná o
„do rybníka“).
komunikaci oficiální či soukromou, jaké je vzdělání
Jmenný rod je jen částečně ovlivněn rodem přirozeným,
mluvčího atd.
většinou je určen zakončením lemmatu (základní tvar slova), i když zakončení samo ne vždy jednoznačně
Čeština je vysoce flektivní jazyk s velmi složitou morfologií.
vyjadřuje rod. Pro cizince to znamená učit se nová slova i s jejich rodem podobně jako v němčině – německé slovníky uvádějí podstatná jména s jejich členy „der/die/das“ (v češtině je také ve slovníku nutno uvést
Čeština spolu se slovenštinou, polštinou a horní a
jejich rod, viz např. „nůž“ – mask. než., „mříž“ – fem.,
dolní lužickou srbštinou patří do západní slovanské
„tabule“ – fem., „pole“ – neutr.).
skupiny. Čeština se ovšem od ostatních slovanských jazyků oddělila řadou změn, z nichž většina proběhla v 10. až 16. století (hláskové změny jako a’> ě, g > h, r’> ř; v 15. století čeština ztratila duál a dva slovanské minulé časy – aorist a imperfektum); na druhou stranu většího významu nabyl slovesný vid a vzrostl počet deklinací. Pro písemnou formu se používala středověká latinská abeceda, později (na počátku 15. století) byla náboženským reformátorem Janem Husem zavedena diakritická znaménka („háček“ pro palatální/palatalizované souhlásky – ť, ď, ň, ř, š, ť, ž; „čárka“ pro dlouhé samohlásky – á, é, í, ó, ú, ý), jediná spřežka, která se v moderní češtině zachovala, je ch, pro dlouhé u byl zaveden speciální znak – ů (ze sekvence změn ó > uó > ů).
Každá aplikace zpracovávající češtinu musí zohlednit morfologii a je zřejmé, že klasifikace podávaná ve školních mluvnicích není pro tento účel dostačující. Flexe navíc vyžaduje nejen spojení kmene a koncovky, morfematické změny kmene jsou často i součástí vytváření tvaru jako takového, viz např. „hoch“ (nom. sg.), „hoši“ (nom. pl.), „řeka“ (nom. sg.) – „o řece“ (lok. sg.), „brána“ (nom. sg.) – „branou“ (instr. sg.), „pásek“ (nom. sg.) – „pásku“ (gen. sg.). Pro češtinu je typická víceznačnost koncovek (např. koncovka –a vyjadřuje v rámci paradigmatu podstatných jmen gen. sg. mask. živ., ak. sg. mask. živ., nom. sg. mask. živ., gen. sg. mask. než., nom. sg. fem., gen. sg. neutr., nom. pl. neutr., ak. pl. neutr.). Složitá je také morfologie sloves. Formální víceznačnost
3.2 SPECIFIKA ČEŠTINY
je přítomna např. ve formě „prosí“ – 3. sg. ind. préz., 3. pl. ind. préz. Analytické (komplexní) slovesné tvary
Čeština je vysoce flektivní jazyk s velmi složitou
přinášejí další komplikace: ve formách, jako jsou „psal
morfologií. Deklinace podstatných jmen rozlišuje 7
jsem“, „psal by“, se chovají pomocná slovesa „jsem“, „by“
pádů (nominativ, genitiv, dativ, akuzativ, vokativ,
jako klitika, protože se v rámci věty pohybují a obvykle
lokál, instrumentál), 2 čísla (singulár, plurál) a 4
jsou odtržena od významové části slovesných forem.
rody (maskulinum životné, maskulinum neživotné,
Dobrou (a velmi často dostačující) nápovědou při
femininum, neutrum); každá kategorie má několik
řešení víceznačností je na druhou stranu shoda mezi
9
podstatným a přídavným jménem (srov. „velké stavení“ – nom. sg., „velkého stavení“ – gen. sg., „velkému
4. Třicet nemocnic (nom./ak.) chce zrušit Ministersto zdraotnictví (nom./ak.).
stavení“ – dat. sg., zatímco samotná forma „stavení“
5. Dítě (nom./ak.) vyzvedne taxík (nom./ak.).
může znamenat nom. sg., gen. sg., dat. sg., ak. sg.,
6. Anna (nom.) představila přítelkyni (dat./ak.) tchyni
lok. sg., nom. pl., gen. pl., ak. pl.). Čeština má tzv. volný
(dat./ak.).
slovosled. To znamená, že systém SVO není pro české věty obligatorním pořadím. Dobrým prostředkem
Tyto dvojznačnosti mohou být vyřešeny pouze
pro identifikaci podmětu, (přímého) předmětu,
sémantickými a pragmatickými znalostmi.
(nepřímého) předmětu a dalších syntaktických funkcí
Možnost měnit slovosled způsobuje tzv. vzdálené
slov ve větě jsou opět pádové koncovky. Srov. příklady
závislosti (jako v př. (7)), které představují pro systémy
(1), (2), (3):
počítačového zpracování jazyka určité problémy. Pro automatickou syntaktickou analýzu jakéhokoli typu je
1. Syn (nom.) poslal matce (dat.) dárek (ak.). 2. Dárek (ak.) poslal matce (dat.) syn (nom.). 3. Dárek (ak.) poslal syn (nom.) matce (dat.).
oddělení konstituentů obtížné řešit: 7. Tu knihu se Pavel rozhodl do knihovny vrátit až zítra.
3.3 SOUČASNÝ VÝVOJ
Pády jednotlivých podstatných jmen jsou ve všech třech
Ačkoli si český jazyk zachovává 98% své slovní zásoby
větách stejné a umožňují přiřadit k podstatným jménům
z praslovanštiny, není zcela imunní vůči vlivu ostatních
syntaktické funkce. Tyto tři varianty se od sebe liší
jazyků [11]. Do 19. století byla hlavním jazykem, se
svou informační strukturou, a to v tom smyslu, která
kterým byla čeština v kontaktu, němčina (viz např. slova
informace je známá a která je představena jako nová. V
jako „knedlík“ [der Knődel], „šunka“ [der Schinken],
př. (1) je použit „neutrální“ slovosled – věta se hodí na
„taška“ [die Tasche], „brýle“ [die Brille], „blok“ [der
začátek textu nebo diskurzu. V př. (2) jsou slova „dárek“
Block], „cihla“ [der Ziegel], „muset“ [műssen]).
a „matka“ známá z kontextu a původce děje („syn“) je
Ve 20. století bylo území dnešní České republiky pod
představen jako nová informace. V př. (3) je jako nový
politickým vlivem Ruska (SSSR) a čeština přijala nová
údaj uveden adresát („matka“).
slova spojená s politikou a socialistickou ideologií.
Možnost přesouvat slova ve větě je však spolu s
V poslední době tato slova postupně vymizela nebo
víceznačnými slovními formami často velkou překážkou
se stala pro mladší generaci neznámá, stejně jako
pro správnou analýzu věty. V poslední době se často
vymizely pojmy a předměty, ke kterým odkazovala
používá pořadí OVS, obzvláště v novinových titulcích
(„kulak“ [bohatý zemědělec], „pětiletka“ [pětiletý
a mluvených komentářích, viz př. (4), (5). V př. (5)
ekonomický plán], „celiny“ [velká pole], „chozrasčot“
se víceznačnost ještě násobí lexikální dvojznačností
[státní ekonomický plán], „prověrka“ [prověřování
slovesa v jednom z možných čtení věty [10]: Příklad
osob]).
(6) lze interpretovat dvěma způsoby, i když významově
V poslední době je jazykem, který čím dál více ovlivňuje
velmi blízkými, kvůli pádové homonymii lze substantiva
slovní zásobu a také frazeologii češtiny, angličtina.
„přítelkyni“ a „tchini“ chápat buď jako přímý, nebo
Výpůjčky z oblasti sportovní terminologie („fotbal“ [the
nepřímý předmět (což ovlivní chápání druhého
football], „hokej“ [the hockey]) sice nejsou nijak nové,
substantiva).
spolu s rychlým rozvojem informačních technologií a
10
uživatelského přístupu k nim se však rychle rozšiřuje
nepředstavují žádné nebezpečí pro systém české vědecké
počítačová terminologie („harddisk“, „byte“, „soware“,
terminologie.
„resetovat“, „flesh disk“, „odlogovat se“ atd.). Některé z těchto výpůjček mají své české ekvivalenty, které se však používají jen zřídka („pevný disk“ [harddisk], „programové vybavení“ [soware]), některé český protějšek nemají vůbec („reset“). Starší výpůjčky byly plně přijaty do češtiny a zapojily se do systému tvorby slov a odvozování (např. „weekend“ s pravopisnou variantou „víkend“ – „víkendu“ (gen. sg.), „víkendový“ – přídavné jméno), některé ovšem stojí mimo český gramatický systém („prodávají zájezdy all inclusive“, „nový PR manažér“ s výslovností „pí-ár“).
3.4 KULTIVACE JAZYKA V ČESKÉ REPUBLICE V kapitole Obecné informace jsme zmínili, že jazykovou politiku v ČR v praxi ovlivňuje Ústav pro jazyk český Akademie věd České republiky. Jeho důležitou součástí je jazyková poradna. Zkušení lingvisté, kteří zde pracují, odpovídají na otázky veřejnosti psanou formou, emailem nebo přímo po telefonu. Jako reakce na velký zájem z řad občanské společnosti o jazykovou kulturu
Občas jsou doslovně přeloženy celé anglické fráze
a problémy jazykového plánování vznikají praktické
(tzv. „kalky“) a jejich užívání je módní záležitostí,
populárně naučné příručky. Máme na mysli např.
např. „mějte hezký den“ [have a nice day], „opatrujte
příručky „Na co se nás často ptáte“ [13], „Jak používat
se!“ [take care!]. Jména společností, firem, obchodů,
čárku a další interpunkční znaménka“ [14]. Ústav
restaurací a dalších místních vlastních jmen se
pro jazyk český poskytuje jako doplňující služby pro
často skládají z kombinace českých a cizojazyčných
veřejnost i speciální webové stránky [15].
částí („Novodvorská Plaza“, „Langhans Galerie“).
Na druhou stranu je hlavní proud jazykové
Zatímco cizojazyčná část těchto složenin zůstává
politiky v ČR daleko od normativního přístupu.
bez morfologických změn, česká část se náležitě
Funkční hledisko, představené členy Pražského
skloňuje,
nečeské
lingvistického kroužku založeného v roce 1926,
syntaktické konstrukce („navštívil Langhans Galerii“
pokračuje v popisu vývoje jazyka prostřednictvím studia
místo – alespoň co se týče této fráze – běžné
konkrétních výsledků komunikačních aktů. Členové
syntaktické konstrukce s postponovaným přívlastkem
Pražského lingvistického kroužku ukázali nevhodnost
v nominativu: „navštívil Galerii Langhans“, „šel do
puristického přístupu k jazykové politice založeného
Galerie Langhans“).
na principu „správné“ vs. „nesprávné“. Upozorňují, že
Mladá generace užívá módní výrazy a fráze, aby ukázala,
rozvrstvení češtiny do několika útvarů (viz kapitolu
že je „cool“ („houmlesák“, „chodí do fitka“, „soráč“,
Obecné informace) skýtá bohatý výběr vhodné variety
„lúzr“, „prezoška“). Na druhou stranu čeština obohatila
pro vhodnou situaci. Členové Pražského lingvistického
mezinárodní slovní zásobu slovem „robot“ (které použil
kroužku respektovali skutečnost, že rodilí mluvčí
ve 30. letech slavný spisovatel Karel Čapek a jeho bratr
češtiny nepoužívají stejnou varietu ve škole nebo na
Josef ve hře R.U.R.). Ve třech dílech, které editovala
oficiálních setkáních, když oslovují širokou veřejnost,
Olga Martincová a kol. (viz [12]), byla publikována
jako v běžných hovorech doma, v obchodech nebo
kniha neologismů v češtině. Údaje uvedené v této
při povídání s přáteli. Popsali tedy a prezentovali
kapitole věnující se vzájemnému vlivu jazyků v blízkém
výsledky výzkumu rozhovorů v různých komunikačních
kontaktu jsou pro rozvoj české slovní zásoby okrajové a
situacích na základě funkčního přístupu.
takže
vznikají
netypické
a
11
V ČR je mnoho prostoru pro jazykové diskuse spojené
nebo v Německu. Nicméně znalost češtiny doložená
s jazykovou politikou a jazykovým plánováním stejně
certifikáty vydávanými akreditovanými institucemi
jako s výsledky výzkumu ( Jazykovědné sdružení ČR,
(např. Ústavem jazykové a odborné přípravy Univerzity
Pražský lingvistický kroužek, Kruh přátel českého
Karlovy v Praze, Českými centry v Berlíně, Londýně,
jazyka). Zvláštní pozornost otázkám jazykové kultivace
Moskvě a na Varšavské univerzitě, Ústavem pro jazyk
je věnována v časopise Naše řeč.
český AV) o žadatelově dosažení odpovídajícího stupně
Výsledky širokých diskusí se odrážejí v normativních
znalostí češtiny je nutná pro konkrétní profese stejně
mluvnicích a v dalších normativních příručkách. Popisy
jako pro vysokoškolské studium žadatelů, kteří se
jazyka jsou v nich formulovány jako doporučení
ucházejí o studium podle plánu platného pro české
pro uživatele, kteří se zajímají o kulturní způsob
studenty. Tento certifikát potvrzuje určitou úroveň
vyjadřování ve svém mateřském jazyce. Používání
znalostí češtiny. Úrovně A1, A2, B1, B2, C1, C2 jsou
normativních příruček je Ministerstvem školství,
stanoveny podle „Společného evropského referenčního
mládeže a tělovýchovy ČR požadováno na základních a
rámce pro jazyky: učení, vyučování, hodnocení“, který
středních školách.
byl sestaven Radou Evropy [16]. Úroveň A1 znamená, že žadatel je schopen rozumět češtině v běžných, každodenních situacích, zatímco úroveň C2 kvalifikuje
Český jazyk je povinný předmět na všech typech základních a středních škol.
žadatele jako osobu, která rozumí česky velmi dobře a mluví česky plynně ve všech situacích. Vývoj jazykových technologií je velmi dobrý a užitečný základ pro interaktivní výukové nástroje a především pro cvičení
3.5 JAZYK VE VZDĚLÁVÁNÍ
v oblasti jazykového vzdělávání. Několik nástrojů pro kontrolu jazykových schopností v češtině již vyvinuto
Český jazyk je povinný předmět na všech typech
bylo, některé z nich úzce souvisí s existencí anotovaných
základních a středních škol. Patří také mezi povinné
korpusů češtiny – Pražského závislostního korpusu
předměty maturitní zkoušky. Nicméně předmět „český
(PDT 2.0, podrobněji viz kapitola 3, oddíl Základní
jazyk a literatura“ zahrnuje výuku jazyka (gramatiky
aplikační oblasti).
a dalších jazykových dovedností) a literatury (včetně některých pojmů z literární teorie). Protože ve školních
Pro procvičení české morfologie a syntaxe byl navržen
osnovách není žádný předmět, který by obsahoval
a realizován systém STYX. Je koncipován jako
světovou literaturu, její stručný přehled je zahrnut
elektronická korpusová učebnice české morfologie a
také do „českého jazyka a literatury“. Asi před 4–5
syntaxe, která obsahuje věty vybrané přímo z Pražského
lety proběhla diskuse mezi odborníky na didaktiku,
závislostního korpusu. Učebnice nabízí komplexní
psychologii, český jazyk a literaturu a Ministerstvem
rozbor věty s ohledem na morfologii a syntax, tj. úkoly
školství, mládeže a tělovýchovy o rozdělení předmětu na
umožňují studentům základních a středních škol
český jazyk na jedné straně a českou a světovou literaturu
interaktivně procvičovat určování slovních druhů,
na straně druhé. Diskuse bohužel nebyla úspěšná a
větný rozbor a klasifikaci syntaktických funkcí slov.
situace se v tomto ohledu nezměnila.
Systém STYX obsahuje téměř 12 tisíc vět a nástroje
V ČR nejsou žádné závažné problémy spojené
na jejich prohlížení, vytváření úkolů a samotné
s jazykovým vzděláváním cizinců jako ve Francii
procvičování. Systém STYX navíc obsahuje i modul
12
„Čapek“, jednoduchý anotační editor koncipovaný pro
Souhrn žákovských chyb ve speciálních korpusech
školáky, aby se mohli zapojit do anotací textů. Editor
(tzv. žákovských korpusech) je také slibným využitím
nabízí možnost anotovat jakékoli věty, nejen ty, které
počítačů v procesu výuky a studia jazyků. Chyby jsou
poskytuje učebnice [17].
klasifikovány podle svých zdrojů a reflektovány jsou také zpětné vazby mezi učiteli a studenty (viz webové stránky
Další typ nástroje pro výuku a procvičování češtiny
Technické univerzity v Liberci [19]).
byl původně vyvinutý pro francouzské studenty učící se češtinu jako cizí jazyk. Nazývá se CETLEF [18] a je to webová aplikace obsahující cvičení
3.6 MEZINÁRODNÍ ASPEKTY
na vynechané místo doplnili správný tvar slova
Česká republika je malá země, rozkládá se na ploše 78 867 km2 , hovoří se zde málo rozšířeným jazykem
v určitém syntaktickém kontextu. Tento systém
– češtinou. Po porážce v bitvě na Bílé hoře v roce
je příkladem pomůcky pro výuku podporovanou
1620 byla spisovná čeština kvůli německému tlaku na
počítačem (CALL), protože používá některé techniky
pokraji vymizení. Ale díky soustavnému úsilí českých
počítačového zpracování přirozeného jazyka. Ty se
spisovatelů, básníků, překladatelů a učitelů v době
jednak používají pro analýzu toho, co student vytvoří,
národního obrození přežila. Tyto snahy ovlivnily
s cílem poskytnout mu lingvisticky orientovanou
podobu spisovné češtiny a způsobily rozdíly mezi
zpětnou vazbu k jeho chybám, jednak obohacuje
normou spisovné češtiny a jejími opravdu používanými
pedagogické prostředí o automaticky generovanou
mluvenými variantami, jak je uvedeno výše v kapitole
lingvistickou anotaci. Myšlenka chybové diagnostiky
Obecné informace. Od konce 18. století byly vytvořeny
je taková, že většina chybných forem, v jazyce
podmínky pro rozvoj bohatého kulturního života: psala
existujících či neexistujících, může být uměle
se a publikovala beletrie, poezie i odborné texty z
reprodukována pomocí odpovídající předlohy pro
různých oblastí. Mnoho knih psaných v češtině bylo
flexi (obsahující paradigmata koncovek a kontextová
překládáno do cizích jazyků (zejména od konce 19.
pravidla morfologických alternací). Chyby jsou tedy
století). Kromě mnoha jiných zde uvádíme „Osudy
vysvětlitelné porušením morfologických kategorií.
dobrého vojáka Švejka“ (napsal je Jaroslav Hašek v
Diagnostika se provádí porovnáním studentských prací
roce 1923, přeloženy byly do 54 jazyků), romány
s dynamicky generovanými hypotetickými tvary slov.
Karla Čapka a Bohumila Hrabala, abychom zmínili
Pro označování chyb a pro vytváření zpětné vazby se
nejznámější spisovatele 20. století. Český básník Jaroslav
používají nejpravděpodobnější interpretace vybrané
Seifert obdržel Nobelovu cenu za literaturu (v roce
malým počtem heuristických pravidel. CETLEF se
1984). Jeden z nejslavnějších současných světových
také používá jako alternativní zdroj žákovských dat
spisovatelů Milan Kundera, narozený v Československu,
vhodných pro výzkum osvojování druhého jazyka.
napsal své první knihy v češtině. Po emigraci publikuje
Vedle žákovských korpusů obsahujících zejména eseje
své romány a eseje ve francouzštině.
studentů umožňuje žákovská jazyková produkce vzniklá
V 19. století ustanovil J. S. Presl (1791–1849)
při gramatických cvičeních zaměřit se i na některé
české botanické a chemické názvosloví. V současné
specifičtější aspekty cílového jazyka. To může být
době podléhá komunikace ve vědě v ČR změnám
výhodou při studiu způsobu osvojování si tak složitých
charakteristickým pro globalizaci světa a je ovlivněna
systémů, jako je skloňování v češtině.
nově otevřenými možnostmi českých vědců být v
na skloňování, která po studentech vyžadují, aby
13
pravidelném kontaktu se světovou vědou. Hlavním
pro analýzu přirozeného jazyka, zejména co se týče sběru
prostředkem vědecké komunikace se stala angličtina.
statistických údajů, jednak internet nabízí širokou škálu
Týká se to především technických a přírodovědných
aplikačních oblastí včetně jazykových technologií.
oborů. Humanitní obory, obzvláště ty, které se zabývají
Nejčastěji
českou historií, jazykem a folklórem, nejsou angličtinou
pravděpodobně webový vyhledávač, který zahrnuje
ovlivněny tak hluboce. Nově zavedená vládní hodnotící
automatické zpracování jazyka na různých úrovních.
kritéria pro výsledky výzkumu ovšem vyvíjejí na
Jde o sofistikované jazykové technologie, které jsou
vědeckou komunitu velký tlak, aby angličtinu používala.
pro každý jazyk jiné. Pro češtinu musí každý systém
Diskuse o nebezpečí vymizení malého národního jazyka
zpracování jazyka pracovat s bohatou morfologií,
z procesu komunikace mezi vědci však dospěla k závěru,
volným slovosledem a různými kódy pro diakritiku nebo
že čeština přežije a bude sloužit jako prostředek vnitřní
dokonce s chybějící diakritikou (zejména na blozích
komunikace ve vědě stejně jako v jiných komunikačních
nebo webových diskuzích).
oblastech, jako jsou masmédia, ekonomika, právo,
Uživatelé internetu a poskytovatelé webových stránek
průmysl atd.
mohou mít z jazykových technologií také užitek, a to
používanou
webovou
aplikací
je
méně obvyklým způsobem, například pokud je použijí
3.7 ČEŠTINA NA INTERNETU
pro automatický překlad webových stránek z jednoho jazyka do druhého. Uvážíme-li vysoké náklady spojené
V roce 2010 bylo uživateli internetu téměř 60% Čechů.
s ručním překladem těchto stránek, může nás překvapit,
Většina z nich uvedla, že je on-line každý den. Mezi
jak málo jsou jazykové technologie z tohoto hlediska
mladými lidmi je procento uživatelů ještě vyšší. V lednu
využívány ve srovnání s předpokládanými potřebami.
2011 bylo registrováno více než 750 tisíc domén .cz.
Je to ovšem méně překvapivé, uvážíme-li složitost
Tato čísla nám dávají matnou představu o obrovském
češtiny a počet technologií zahrnutých v jejich
množství dat v češtině dostupných na webu.
typických aplikacích. V další kapitole představíme
Pro jazykové technologie je rostoucí význam internetu
úvod do jazykových technologií a hlavní oblasti pro
důležitý ve dvou směrech. Jednak je velké množství
jejich aplikaci stejně jako hodnocení současné situace
digitálně dostupných jazykových dat bohatým zdrojem
podpory jazykových technologií pro češtinu.
14
4 PODPORA JAZYKOVÝCH TECHNOLOGIÍ PRO ČEŠTINU Jazykové technologie jsou informační technologie, které
vzdělávání v ČR. Tabulka v závěru této části poskytuje
jsou specializované na práci s přirozeným jazykem.
vyhodnocení situace v nástrojích a datových zdrojích
Proto jsou často zahrnuty pod pojem technologie
jazykových technologií z několika aspektů, jako je např.
zpracování přirozeného jazyka. Přirozený jazyk se
dostupnost, vyzrálost a kvalita.
vyskytuje v mluvené i psané formě. Řečové a textové
Představujeme expertní odhady základních nástrojů a
technologie zpracovávají a produkují „jazyk“ v těchto
datových zdrojů pro jazykové technologie pro češtinu
dvou způsobech realizace. Existují ovšem takové stránky
v nejrůznějších dimenzích jako je dostupnost, vyzrálost
jazyka, které jsou sdíleny „řečí“ a „textem“, jako jsou
a kvalita. Aktuální situace v jazykových technologiích
slovníky, většina gramatiky a významů vět.
pro češtinu je shrnuta v tabulce figure 8 na konci
Velké části jazykových technologií proto nelze zařadit
této kapitoly. Tabulka uvádí seznam všech nástrojů a
ani pod technologii mluvené řeči, ani textu. Mezi
datových zdrojů, které jsou zvýrazněny v textu. Podpora
ně patří technologie, které spojují jazyk a myšlení.
jazykových technologií pro češtinu je porovnána s
Obrázek 1 ukazuje oblast jazykových technologií.
jinými jazyky, které jsou součástí série bílých knih.
V rámci komunikace směšujeme jazyk s jinými způsoby komunikace a jinými informačními zdroji. Kombinujeme „řeč“ s gesty a výrazy obličeje. Digitální
4.1 ARCHITEKTURA APLIKACÍ
texty mohou obsahovat obrázky, grafy, zvuky apod.
Typické sowarové aplikace pro zpracování jazyka se
Filmy mohou obsahovat jazyk v mluvené i psané formě.
skládají z komponent, které zohledňují různé aspekty
Řečové a textové technologie se tedy překrývají a
jazyka a aspekty úlohy, kterou automatizují. Obrázek 2
vzájemně ovlivňují s mnoha dalšími technologiemi,
(str. 16) znázorňuje vysoce zjednodušenou architekturu
které usnadňují zpracování multimodální komunikace
systému pro zpracování textů. První tři moduly se týkají
a multimediálních dokumentů.
struktury a významu textového vstupu:
Jazykové technologie jsou zavedeným vědním oborem s rozsáhlým seznamem úvodní literatury. Zájemcům doporučujeme následující práce: [20, 21, 22, 23, 24]. V dalším textu popíšeme architekturu typického systému jazykových technologií. Následně podáme
1. Předzpracování: čištění dat; odstranění formátování; detekce vstupního jazyka atd. 2. Gramatická analýza: nalezení slovesa a jeho doplnění atd.; analýza struktury věty.
přehled základních aplikačních oblastí a stručně
3. Sémantická analýza: desambiguace významu ( Jaký je
shrneme situaci jazykových technologií ve výzkumu a
správný význam slova „zámek“ v daném kontextu?);
15
Technologie zpracování mluvené řeči
Multimediální a multimodální technologie
Jazykové technologie
Znalostní technologie
Technologie zpracování textu
1: Jazykové technologie
určování koreferenčních vztahů (jako „ona“, „jeho
vyhledávání informací,
auto“, aj.); počítačová reprezentace významu věty.
extrakce informací,
Specializované moduly následně provádějí mnoho
shrnutí obsahu textů,
různých úloh, jako je např. automatické shrnutí
odpovídání na otázky,
vstupního textu, databázové dotazy ap.
rozpoznávání mluvené řeči,
syntéza řeči.
4.2 ZÁKLADNÍ APLIKAČNÍ OBLASTI Dále rozebíráme hlavní aplikační oblasti jazykových technologií, jako je kontrola pravopisu, webové vyhledávání, hlasové ovládání a strojový překlad. Oblasti zahrnují aplikace a základní technologie, např.
Pro každou aplikační oblast ilustrujeme vybrané moduly různých architektur, které záměrně popisujeme zjednodušeně.
4.2.1 Jazyková kontrola Morfologické
a
syntaktické
vlastnosti
češtiny
představují velkou výzvu jak pro kontrolu překlepů,
oprava pravopisu,
tak i pro kontrolu gramatické správnosti českých textů.
autorská podpora,
Ačkoli již existují nástroje pro oba typy kontrol (první
počítačem podporovaná výuka jazyků,
nástroje na kontrolu překlepů byly vyvinuty na začátku
Vstupní text
Předzpracování
Výstup
Gramatická analýza
Sémantická analýza
Účelové moduly
2: Typická architektura aplikací pro zpracování textu
16
Statistický jazykový model
Vstupní text
Kontrola překlepů
Kontrola pravopisu
Návrhy oprav
3: Jazyková kontrola (nahoře: statistický přístup, dole: pravidlový přístup)
90. let; vývoj prvního gramatického korektoru pro
v mluvené řeči splývají a i proto je pisatelé velmi často
Microso Office trval mnohem déle, uživatelé se s ním
nevhodně zaměňují. Automatické určení správného
mohli seznámit až v roce 2005), zůstává stále mnoho
tvaru s ohledem na daný kontext teoreticky vyžaduje
témat čekajících na efektivní řešení.
úplnou syntaktickou analýzu dané věty, protože správný
Existující nástroje na kontrolu překlepů pro češtinu jsou
pád obvykle nemůže být určen, aniž bychom brali ohled
založeny na slovníku lemmat, zkombinovaném se sadou
na syntax a slovesnou valenci. Tento fakt je výzvou pro
morfologických pravidel dovolujících analýzu nebo
vývoj sofistikovanější gramatické kontroly.
generování všech správných slovních forem. Ačkoli
Řešení implementované v editoru Microso Word
se tento jednoduchý postup zdá vyhovující, má dvě
využívá skutečnosti, že zájmena v češtině téměř vždy
podstatné nevýhody. První z nich se týká překlepů,
bezprostředně následují za předložkou. Pokud se tato
jež jsou ve skutečnosti správnými slovními tvary, které
předložka váže pouze s jediným pádem (jako např.
jsou nesprávné pouze v daném kontextu. V důsledku
předložka „k“, „ke“), potom může být správný tvar
izolovaného zpracovávání jednotlivých slovních tvarů
zájmena určen s téměř 100% spolehlivostí na základě
z textu je prakticky nemožné takovéto chyby objevit,
tohoto místního kontextu. Nástroj Automatické opravy
proto by bylo velmi užitečné vyvinout pokročilejší
editoru MS Word proto obsahuje seznam předložek,
algoritmy kontextové detekce chyb. Druhou nevýhodou
které mají tuto vlastnost, v kombinaci se správným
je neschopnost rozeznat opravdové překlepy a ty slovní
tvarem zájmena.
tvary, které jsou sice správné, ale nejsou obsaženy ve
Tento příklad ukazuje, že další výzkum podobných
slovníku. Taková slova budou vždy existovat například v
morfologických či syntaktických vlastností může
důsledku přirozeného obohacování slovní zásoby nově
pomoci podstatně zlepšit kvalitu kontextové kontroly
vytvořenými nebo přejatými slovy, novými vědeckými
překlepů.
a odbornými termíny apod. Schopnost zachycovat tato
Ještě tvrdší oříšek představuje čeština pro gramatickou
slova by kontrolu překlepů pozvedla na kvalitativně
kontrolu, než je tomu u kontroly překlepů. Jde o
novou úroveň.
jazyk s vysokým stupněm volnosti slovosledu, a proto
Již v minulosti došlo k určitým pokusům podrobit
je velmi obtížné na ni uplatnit metodu kontroly
kontrolu překlepů závislou na kontextu. Například
chybových vzorků v omezeném kontextu, která
jednou z nejčastějších chyb v češtině je použití špatné
představuje standardní přístup pro jazyky s pevnějším
formy osobního zájmena „já“ v genitivu, dativu,
slovosledem jako např. pro angličtinu. Pořadí slov ve
akuzativu a lokálu. Obě formy používané v těchto
správné české větě samozřejmě není úplně libovolné
pádech, jmenovitě „mě“ (gen., ak.) a „mně“ (dat., lok.),
a určitá pravidla existují (například české příklonky
17
mají zpravidla pevnou pozici ve větě), na druhou
navzájem promíchanými závislými větnými členy, je v
stranu ale volnost slovosledu v některých případech
češtině velmi produktivní a teoreticky dovoluje vytvářet
dokonce umožňuje odtrhnout shodný přívlastek od
věty s prakticky libovolným počtem neprojektivních
řídícího podstatného jména a umístit jej ve větě téměř
konstrukcí v jedné klauzi. Ačkoli neprojektivní
libovolně, jako například v často citovaných příkladech
konstrukce představují pro kontrolu gramatické
z poezie Vánoční nadešel čas a Hrdliččin zval ku lásce
správnosti velký problém, protože na ně nestačí
hlas. Takové konstrukce, nazývané vzdálené závislosti
jednoduché metody odhalování chybných lokálních
nebo také neprojektivní konstrukce, představují velký
vzorků, nejsou v češtině jedinou syntaktickou výzvou.
problém pro jakoukoli kontrolu gramatické správnosti.
Přinejmenším stejně významnou překážkou je jiná
Výzkum Pražského závislostního korpusu, syntakticky
syntaktická vlastnost češtiny – její schopnost vynechat
označkovaného souboru českých vět, ukázal, že asi 14%
podmět věty, pokud je z kontextu jasné, co jím má být.
vět z korpusu obsahuje alespoň jednu neprojektivní
Podívejme se ještě na jeden příklad:
konstrukci. Tento počet jasně naznačuje, že tento jev nemůžeme ignorovat. Neprojektivní konstrukce ztěžují gramatickou kontrolu ještě z jednoho důvodu. Skutečnost, že závislé slovo může být ve větě umístěno i velmi daleko od svého řídícího slova, také stírá rozdíl mezi správnými a nesprávnými větami. Ukažme si tento jev pomocí následujícího příkladu: Které děvčata chtěla dostat šaty?
Sportovci házely plyšáky. Tato věta je syntakticky nesprávná v typickém čtení, protože obsahuje neshodu v rodě mezi podmětem (sportovci – rod mužský životný) a přísudkem (házely – rod ženský nebo mužský neživotný). Situace se ale změní, pokud upravíme kontext následujícím způsobem:
Tuto větu můžeme buď považovat za syntakticky
Dívky křičely. Sportovci házely plyšáky a rozhodčím
správnou, ale neprojektivní, s významem Které
shnilá rajčata.
šaty chtěla děvčata koupit?, nebo jako syntakticky nesprávnou, ale projektivní větu, ve které je chyba ve tvaru tázacího zájmena Které (správný tvar je samozřejmě Která). Vyřešit tuto víceznačnost je prakticky nemožné – neprojektivní konstrukce jsou integrální součástí češtiny a jejich přítomnost ve větě neznamená nic neobvyklého. Syntaktická složitost neprojektivních konstrukcí v češtině je dokonce vyšší, než by mohl předchozí příklad napovídat. Jednoduchá česká věta může obsahovat více než jednu takovou konstrukci, jako např. věta: Tuto knihu jsem se mu rozhodl dát k narozeninám.
Skutečnost, že podmět může být z věty vynechán, výrazně ztěžuje existujícím nástrojům na kontrolu gramatické správnosti nalezení jednoho z nejčastějších typů gramatických chyb v češtině, neshody mezi podmětem a přísudkem. Dalšího vylepšení těchto nástrojů proto může být dosaženo pouze, pokud budeme chyby hledat v širším kontextu než v rámci jedné věty. Tento přístup však představuje velký úkol pro další výzkum. Ačkoli první generace kontrolních jazykových nástrojů pro češtinu existuje, u ostatních nástrojů je situace horší. Například v oblasti autorské podpory existuje absolutní nedostatek nástrojů. To je způsobeno do
Schéma přítomné v tomto příkladu, jmenovitě
určité míry skutečností, že čeština je obvykle cílovým a
kombinace určitého a neurčitého slovesného tvaru s
nikoli zdrojovým jazykem pro technickou dokumentaci
18
Webové stránky
Předzpracování
Sémantické zpracování
Indexování Párování & Relevance
Předzpracování
Analýza dotazu
Uživatelský dotaz
Výsledky vyhledávání
4: Webové vyhledávání
nejrůznějších výrobků. Proto není potřeba takovýchto
rozhraní pro zadávání otázek, ani forma zobrazování
nástrojů tak naléhavá, jako je tomu u větších jazyků.
výsledků. Příběh úspěchu vyhledávače Google ukazuje,
Přesto však potřeba těchto a podobných nástrojů
že s využitím efektivních indexovacích technik a s
v budoucnu poroste a výzkum v oblasti zpracování
dostatkem dat k dispozici může ryze statistický přístup
přirozeného jazyka bude stále důležitější.
vést k uspokojivým výsledkům.
4.2.2 Webové vyhledávání
Ovšem při složitějších informačních potřebách je nutno do vyhledávacích nástrojů zapojit hlubší
V České republice se tradičně hojně využívají domácí
lingvistickou znalost. Například pokud dotaz do
internetové vyhledávače. V současné době česká
vyhledávače tvoří celá věta namísto seznamu klíčových
internetová populace nejčastěji využívá Seznam.cz,
slov, je pro relevantní odpověď potřeba analyzovat
Google.com, Morfeo.cz a Jyxo.cz. Z toho vidíme, že
dotyčnou větu na syntaktické a sémantické úrovni,
situace je poněkud odlišná od ostatních zemí, kde má
jakož i mít k dispozici index umožňující rychlé
Google.com 80% většinu. Na domácím trhu je dostatek
poskytování relevantních dokumentů. Kupříkladu si
prostoru jak pro vylepšení existujících vyhledávačů
představme, že uživatel vloží otázku „Dej mi seznam
pomocí spolupráce akademického světa s průmyslem,
všech firem, které během posledních pěti let pohltila
tak i pro případné uvedení nové služby, zejména pokud
jiná firma.“ S jednoduchým přístupem založeným
by byla omezena na konkrétní obor či úkol, například
na klíčových slovech se v tomto případě daleko
zodpovídání otázek.
nedostaneme. Výsledky může zlepšit rozšíření seznamu
Pokud je nám známo, výsledky Googlu jsou považovány
klíčových slov o synonyma, například s využitím
za nejrelevantnější. Google zahájil svůj provoz v roce
ontologického jazykového zdroje WordNet. Ovšem pro
1998 a od té doby se příliš nezměnilo ani uživatelské
uspokojivou odpověď je nezbytná hlubší analýza dotazu.
19
Například při využití syntaktického parseru pro analýzu
na uživatelovy dotazy.
gramatické struktury věty můžeme určit, že uživatele zajímají firmy, které byly pohlceny, nikoli ty, které někoho/něco pohltily. Rovněž musíme zpracovat výraz
4.2.3 Hlasová interakce
„posledních pěti letech“, abychom správně vyhodnotili,
Obecné rozpoznávání mluvené češtiny je stále v
které roky to jsou.
začátcích. Jednoduché aplikace s malým slovníkem
V češtině je analýza věty poněkud složitější, protože se musíme vyrovnat, jak už bylo řečeno, s bohatou morfologií a volným slovosledem. Domácí vyhledávače již v sobě většinou obsahují morfologickou analýzu nebo alespoň část její funkcionality, ovšem kvalita těchto nástrojů se různí. A konečně, zpracovaný dotaz je třeba porovnat s velkým množstvím nestrukturovaných dat, abychom nalezli informace, které uživatel hledá. Tento úkol zahrnuje získání a ohodnocení relevantních dokumentů. Abychom mohli vytvořit požadovaný seznam firem, musíme také mít informace o tom, že určité shluky písmen jsou názvy firem. Tento typ informace se dá získat pomocí rozpoznávače pojmenovaných entit.
a gramatikou dosahují vysoké spolehlivosti i díky jednoduchému fonetickému systému češtiny. Hlavním problémem velkých aplikací s rozsáhlým slovníkem a obecnějším jazykovým modelem češtiny je vysoký počet slovních tvarů, relativně volný slovosled a nespisovné tvary. Tyto zvláštnosti zatím brání dosažení podobné úspěšnosti rozpoznávání s pomocí klasických statistických metod, jako existují pro angličtinu. Existuje několik komerčních systémů s velkými slovníky (SpeechTech s. r. o. [25], OptimSys, s. r. o. [26], NewtonTechnologies, a. s. [27]), které však pracují buď jako diktovací aplikace s velmi kvalitním zvukovým vstupem, nebo mají silně omezenou jazykovou doménu např. na sportovní nebo parlamentní přenosy. Je možné zakoupit samostatný modul rozpoznávání
Úkol je možno ještě zesložitit, pokud chceme
mluvené řeči s podporou rozhraní Media Resource
vyhodnocovat dotaz nad dokumenty psanými v
Control Protocol, který umožňuje začlenění této
jiném jazyce. Pro vícejazyčné vyhledávání je třeba
technologie i do jiných aplikací. Firmy nabízejí aplikace
automaticky přeložit dotaz do všech dostupných
generující off-line přepis multimediálních archivů
zdrojových jazyků a získanou informaci přeložit zpět do
a jejich prohledávání. Všechny tyto programy mají
cílového jazyka. Tento úkol opět zahrnuje lingvistickou
relativně dobré konfigurační možnosti, ale nespadají
analýzu. Pro uživatele se specifickými informačními
do oblasti open-source. K vývoji rozpoznávače mluvené
potřebami může rozšíření dotazu vyžadovat dodatečné
češtiny jako open-source v současnosti chybí open-
zdroje informací jako například doménově specifickou
source akustická data, která by umožnila přípravu
ontologii reprezentující vztahy mezi jednotlivými
volně dostupných akustických modelů nezávislých na
pojmy.
mluvčích. Nástroje a knihovny nutné pro přípravu
Vzrůstající podíl sdílení dat v netextových formátech
takového systému jsou k dispozici, ale navíc stále chybí
rovněž zvyšuje poptávku po službách umožňujících
spolehlivější metoda rozpoznávání pro češtinu se všemi
multimediální vyhledávání, tj. vyhledávání v obrázcích,
jejími slovními tvary a volným slovosledem.
audio a video datech. Pro audio a video soubory je
Syntéza mluvené češtiny má několik komerčních
tudíž potřeba zapojit modul pro rozpoznávání řeči,
systémů na dobré úrovni (Eris [25], Acapela Group
který převede mluvenou řeč do textové či fonetické
[28]), navíc i open-source aplikace pro syntézu hlasu,
reprezentace, ve které pak můžeme vyhledávat odpovědi
bohužel zatím s nižší kvalitou (Festival Czech [29], Epos
20
Mluvený výstup
Mluvený vstup
Syntéza řeči
Zpracování signálu
Fonetický přepis & Plánování intonace
Porozumění přirozenému jazyku & Dialog
Rozpoznávání
5: Hlasový dialogový systém
TTS System [30], MBROLA [31]).
s pomocí anotovaných stromových korpusů psané a
Moduly syntézy řeči jsou připravené k integraci
mluvené češtiny. Ve spojení s morfologickou analýzou
do interaktivních systémů, které podporují mnoho
by tato metoda měla pomoci se zpracováním volného
otevřených standardů. K vytvoření open-source aplikací
slovosledu a velkého množství slovních tvarů.
pro syntézu hlasu s vysokou kvalitou opět chybí volně
Výzkum syntézy mluvené češtiny se snaží vyvinout
dostupné hlasové nahrávky mluvčích.
přirozenější hlasy. Naděje se vkládá do pokročilejší
Dialogové systémy jsou také ve svých začátcích díky závislosti na předchozích dvou technologiích. Český dialogový systém bez omezení je cílem společného
syntaktické a sémantické analýzy vstupních textů, která by měla podstatně zlepšit přirozenost promluvy.
výzkumu více univerzit: oddělení mluvené řeči pracují
4.2.4 Strojový překlad
na mnoha projektech, což jim umožňuje sestavit
Nápad využít digitální počítače pro překlad přirozených
jednoduché dialogové systémy zahrnující většinu
jazyků pochází od A. D. Boothe z roku 1946. V
hlasových technologií. Současný výzkum mluvené
padesátých letech 20. st. a po určité pauze opět
češtiny se zaměřuje na zlepšení jazykového modelu.
od let osmdesátých bylo do tohoto směru výzkumu
Kromě ověřené metody navýšení množství trénovacích
investováno značné množství prostředků. I přesto
jazykových dat, které vyžaduje časově náročné
strojový překlad (machine translation, MT) dodnes
přepisování, se hledají specifické postupy pro češtinu.
nesplňuje vysoká očekávání, jak byla formulována v
Jeden směr výzkumu se snaží o konverzi mluvené
prvních letech.
češtiny do formální psané podoby, pro které již existují
Na území České republiky nápad překladu prováděného
spolehlivější metody založené na textových korpusech.
počítači velmi zaujal lingvisty a matematiky záhy
Kromě jednoduchých případů, např. záměny koncovek
po prvních pokusech s překladem ve světě (1954
obecné češtiny jejich spisovnoou formou, musí metoda
v USA, 1955 v Sovětském svazu). V lednu 1960
řešit i náhradu celých slovních frází jejich správnou
byl proveden první pokus přeložit několik vět z
formou. Podobným způsobem jsou odstraňovány další
angličtiny do češtiny na počítači SAPO první generace,
jevy spontánní řeči, mezi něž patří výplňová slova,
který byl vyroben v tehdejším Československu.
opravy a potvrzovací signály posluchače.
Za pokusy stála malá skupina badatelů z Karlovy
Druhý směr výzkumu se zaměřuje na vývoj
univerzity a Výzkumného ústavu matematických
syntaktických a sémantických analyzátorů vyvíjených
strojů. Univerzitní skupina pokračovala ve vývoji
21
Zdrojový text
Analýza textu (formátování, morfologie, syntax atd.)
Statistický strojový překlad
Pravidla pro překlad Cílový text
Generování jazyka
6: Strojový překlad (vlevo: statistický přístup, vpravo: pravidlový přístup)
metod strojového překladu i dále a pro počítače
jazyce slovy druhého jazyka.
druhé generace (z NDR a SSSR) byly vytvořeny experimentální pravidlové systémy pro anglickočeský a česko-ruský překlad. Systémy byly omezeny na úzkou doménu textů a sloužily především jako potvrzení správnosti formálně zapsaných gramatických pravidel. V devadesátých letech 20. st. byl navržen prototyp překladu mezi blízkými jazyky, konkrétně mezi češtinou a slovenštinou, systém Česílko [32]. V praxi se tento systém bohužel nepoužívá zejména kvůli náročné údržbě. Následný výzkum vkládá více nadějí do statistických metod nebo kombinace statistických a pravidlových metod. V základní implementaci strojový překlad nahrazuje jednotlivá slova zdrojového jazyka slovy z jazyka cílového. Takto primitivní přístup lze s úspěchem použít jen ve velmi úzkých oblastech s jednoduchým vyjadřováním, např. v předpovědích počasí (srov. systém METEO [33]). Pro překlad méně standardizovaných textů je nutné zohlednit větší úseky textu (fráze, věty nebo i celé pasáže). Hlavní problém pak představuje víceznačnost lidské řeči projevující se na více úrovních, např. u lexikálního obsazení jde o tzv. word sense disambiguation (WSD), u větného rozboru o určení řídícího členu pro předložkové skupiny (PP-attachment).
Jeden z možných přístupů k úloze se opírá o lingvistická pravidla. Pro překlad mezi příbuznými jazyky stačí překlad slovo od slova. Pravidlové systémy naproti tomu často vstupní text rozebírají a vytvářejí dočasnou, symbolickou reprezentaci, z níž je teprve výsledný text generován. Úspěch těchto metod závisí na dostupnosti rozsáhlých údajů obsahujících morfologickou, syntaktickou i sémantickou informaci o slovech, a též soubory gramatických pravidel pečlivě navržených zkušeným lingvistou Pro češtinu existuje několik komerčních i akademických systémů založených na slovnících a pravidlech. Jeden z nich se opírá o lingvistickou teorii pocházející z 60. let 20. st. Systém sleduje načrtnuté rozdělení úlohy na fáze analýzy, transferu a syntézy. I přes lingvistickou adekvátnost tohoto přístupu systém stále trpí řadou praktických nedostatků, např. relativně velkou chybovostí nástrojů pro automatický větný rozbor nebo narůstající výpočetní složitostí překladu slov, při kterém je třeba zohlednit všechny relevantní informace z kontextu. Koncem 80. let 20. st. se s levnější a větší výpočetní silou počítačů zájem přesunul ke statistickým modelům. Tyto modely jsou automaticky vybudovány na základě
Základní systém strojového překladu jednoduše nahrazuje slova v jednom
analýzy dvojjazyčných souborů textů, jako je např. paralelní korpus Europarl obsahující zápisy z jednání
22
Evropského parlamentu v 21 evropských jazycích.
a pravidlových systémů se do značné míry doplňuji,
(Čeština byla přidána teprve nedávno a data pro
panuje dnes víceméně souhlas, že je dobré je kombinovat
češtinu jsou stále o několik řádů menší než pro
do hybridních metod. Kombinace je přitom možné
zavedené jazyky.) Při dostatku dat pracuje statistický
provádět několika způsoby. Nejjednodušší je přeložit
překlad pro přibližné pochopení textu dostatečně
větu oběma systémy a (strojově) následně zvolit jednu
dobře. Na rozdíl od pravidlových metod však často
z těchto odpovědí. Pro delší věty však nelze očekávat
generuje gramaticky nesprávný výstup. Silnou stránkou
dobrý výsledek. Vhodnější přístup proto kombinuje
statistického přístupu je pak, kromě ušetřené námahy
nejlepší úseky z výstupů několika systémů. To je ovšem
při přípravě pravidel, často plně automatické zachycení
obtížnější, protože často je těžké strojově poznat, které
specifických frází včetně idiomů. Stačí, aby byly
části výstupů si odpovídají, nehledě na nutnost správně
pokryty trénovacími daty. Právě dostupnost rozsáhlých
je spojit do výstupu jediného.
objemů dvojjazyčných textů je klíčem k úspěšnému statistickému překladu. Pro češtinu jsou v současné době vytvářeny paralelní korpusy s několika dalšími jazyky. Největší soubor dat CzEng [34], celkově několik milionů dvojic vět, je dostupný pro češtinu a angličtinu. Tento korpus zahrnuje např. evropské právní dokumenty, novinové texty, technickou dokumentaci
Alternativní, a samozřejmě obtížnější, je možnost navrhnout nový přístup k překladu, který obě metody integruje. Je například možné pravidlový systém obohatit modulem pro automatickou extrakci pravidel z dat nebo je možné statistický systém doplnit gramatickými pravidly.
a elektronicky dostupné knihy. Nejtěžší problém při
Zcela samostatnou otázku pak představuje úloha
přípravě takového korpusu je tzv. zarovnání, tj. nalezení
vyhodnocování kvality strojového překladu, ať již
odpovídajících si dvojic úseků textu. Nejen že přiřazení
ručně nebo strojově. Zkušenosti ukazují, že různé
slov slovům nelze často ani teoreticky provést správně
přístupy překladu jsou různě úspěšné v různých
pro odlišnosti v tvarosloví a skladbě zarovnávaných
ohledech: pravidlové systémy mají větší šanci zachovat
jazyků, často je obtížné přiřadit k sobě správně celé
význam, statistické systémy produkují výstup, který je
věty nebo i celé dokumenty. Proces zarovnání musí
plynulejší na úrovni krátkých sousloví. Například v
být navíc zcela automatický; s ohledem na objem
úloze odpovídání na otázky sice lokální plynulost ve
textů je ruční zpracování vyloučeno. Jazyky s bohatou
srovnání s jinými systémy dobře působí na uživatele,
morfologií jako čeština pro současné systémy strojového
ale přesnost odpovědí může utrpět. Automatické
překladu představují zvlášť obtížnou úlohu. Systém
vyhodnocování kvality (založené na porovnání výstupu
musí nejen vybrat správné slovo, ale navíc dobře zvolit
MT s lidským překladem) je zcela zásadní pro
gramatická pravidla pro stanovení jeho konkrétního
vývoj zejména statistických modelů. Ukazuje se
tvaru s ohledem na kontext ve větě. V současné
však, že většina automatických hodnocení kvality je
době jen velmi málo statistických systémů explicitně
nespolehlivá, a to ještě výrazněji pro jazyky s bohatou
pracuje s morfologickou reprezentací, a proto často
morfologií. Pro vývoj systémů strojového překladu by
narazí na nedostatek dat: ani v největších paralelních
též velmi pomohly nástroje, které klasifikují a podrobně
korpusech nelze očekávat, že uvidíme slovo ve všech
zobrazí chyby ve výstupu. Tabulka 7 (str. 24), která byla
jeho potřebných tvarech.
připravena v projektu Euromatrix+, obsahuje porovnání úspěšnosti po dvojicích 22 oficiálních jazyků Evropské
Vzhledem k tomu, že klady a zápory statistických
Unie (irština nebyla porovnána).
23
EN BG DE CS DA EL ES ET FI FR HU IT LT LV MT NL PL PT RO SK SL SV
EN – 61.3 53.6 58.4 57.6 59.5 60.0 52.0 49.3 64.0 48.0 61.0 51.8 54.0 72.1 56.9 60.8 60.7 60.8 60.8 61.0 58.5
BG 40.5 – 26.3 32.0 28.7 32.4 31.1 24.6 23.2 34.5 24.7 32.1 27.6 29.1 32.2 29.3 31.5 31.4 33.1 32.6 33.1 26.9
DE 46.8 38.7 – 42.6 44.1 43.1 42.7 37.3 36.0 45.1 34.3 44.3 33.9 35.0 37.2 46.9 40.2 42.9 38.5 39.4 37.9 41.0
CS 52.6 39.4 35.4 – 35.7 37.7 37.5 35.2 32.0 39.5 30.0 38.9 37.0 37.8 37.9 37.0 44.2 38.4 37.8 48.1 43.5 35.6
DA 50.0 39.6 43.1 43.6 – 44.5 44.4 37.8 37.9 47.4 33.0 45.8 36.8 38.5 38.9 45.4 42.1 42.8 40.3 41.0 42.6 46.6
EL 41.0 34.5 32.8 34.6 34.3 – 39.4 28.2 27.2 42.8 25.5 40.6 26.5 29.7 33.7 35.3 34.2 40.2 35.6 33.3 34.0 33.3
ES 55.2 46.9 47.1 48.9 47.5 54.0 – 40.4 39.7 60.9 34.1 26.9 21.1 8.0 48.7 49.7 46.2 60.7 50.4 46.2 47.0 46.6
ET 34.8 25.5 26.7 30.7 27.8 26.5 25.4 – 34.9 26.7 29.6 25.0 34.2 34.2 26.9 27.5 29.2 26.4 24.6 29.8 31.1 27.4
Cílový jazyk — Target language FI FR HU IT LT LV 38.6 50.1 37.2 50.4 39.6 43.4 26.7 42.4 22.0 43.5 29.3 29.1 29.5 39.4 27.6 42.7 27.6 30.3 30.5 41.6 27.4 44.3 34.5 35.8 31.6 41.3 24.2 43.8 29.7 32.9 29.0 48.3 23.7 49.6 29.0 32.6 28.5 51.3 24.0 51.7 26.8 30.5 37.7 33.4 30.9 37.0 35.0 36.9 – 29.5 27.2 36.6 30.5 32.5 30.0 – 25.5 56.1 28.3 31.9 29.4 30.7 – 33.5 29.6 31.9 29.7 52.7 24.2 – 29.4 32.6 32.0 34.4 28.5 36.8 – 40.1 32.4 35.6 29.3 38.9 38.4 – 25.8 42.4 22.4 43.7 30.2 33.2 29.8 43.4 25.3 44.5 28.6 31.7 29.0 40.0 24.5 43.2 33.2 35.6 29.2 53.2 23.8 52.8 28.0 31.5 26.2 46.5 25.0 44.8 28.4 29.9 28.4 39.4 27.4 41.8 33.8 36.7 28.8 38.2 25.7 42.3 34.6 37.3 30.9 38.9 22.7 42.0 28.2 31.0
MT 39.8 25.9 19.8 26.3 21.1 23.8 24.6 20.5 19.4 25.3 18.1 24.6 22.2 23.3 – 22.0 27.9 24.8 28.7 28.5 30.0 23.7
NL 52.3 44.9 50.2 46.5 48.5 48.9 48.8 41.3 40.6 51.6 36.1 50.5 38.1 41.5 44.0 – 44.8 49.3 43.0 44.4 45.9 45.6
PL 49.2 35.1 30.2 39.2 34.3 34.2 33.9 32.0 28.8 35.7 29.8 35.2 31.6 34.4 37.1 32.0 – 34.5 35.8 39.0 38.2 32.2
PT 55.0 45.9 44.1 45.7 45.4 52.5 57.3 37.8 37.5 61.0 34.2 56.5 31.6 39.6 45.9 47.7 44.1 – 48.5 43.3 44.1 44.2
RO 49.0 36.8 30.7 36.5 33.9 37.2 38.1 28.0 26.5 43.8 25.7 39.3 29.3 31.0 38.9 33.0 38.2 39.4 – 35.3 35.8 32.7
SK 44.7 34.1 29.4 43.6 33.0 33.1 31.7 30.6 27.3 33.1 25.6 32.5 31.8 33.3 35.8 30.1 38.2 32.1 31.5 – 38.9 31.3
SL 50.7 34.1 31.4 41.3 36.2 36.3 33.9 32.9 28.2 35.6 28.2 34.7 35.3 37.1 40.0 34.6 39.8 34.4 35.1 42.6 – 33.5
SV 52.0 39.9 41.2 42.9 47.2 43.3 43.7 37.3 37.6 45.8 30.5 44.3 35.3 38.0 41.6 43.6 42.1 43.9 39.4 41.8 42.7 –
7: Strojový překlad mezi 22 oficiálními jazyky Evropské unie – Machine translation for 22 EU-languages [35]
4.3 DALŠÍ APLIKAČNÍ OBLASTI
Otázka: V kolika letech vystoupil Neil Armstrong na Měsíc? Odpověď: 38.
Vytváření aplikací jazykových technologií zahrnuje
Zatímco toto zřetelně souvisí s výše popsanou oblastí
celou řadu podúloh, které sice komunikují s uživatelem
webového hledání, zodpovídání otázek dnes zastřešuje
omezeně, ale poskytují zásadní funkcionalitu systémů.
hlavně výzkum otázek, a sice jaké typy otázek by
Tím formulují důležitá výzkumná témata, ze kterých
měly být rozlišeny a jakým způsobem by měly být
vznikají samostatné disciplíny komputační lingvistiky.
zpracovávány; jak má být množina dokumentů, která teoreticky obsahuje odpověď, analyzována a porovnávána (vracejí dokumenty rozporuplné
Například, zodpovídání otázek (question asnwering,
odpovědi?); jak může být určitá informace – odpověď
QA) je aktivní oblastí výzkumu, pro kterou jsou
– spolehlivě extrahována z dokumentu bez přehnaného
připravovány anotované korpusy, organizovány soutěže
ignorování kontextu; atd.
atd. Cílem je posunout se od hledání na základě
To pro změnu souvisí s úlohou extrakce informací
klíčových slov (pro které vyhledávací stroje vrací kolekci
(information extraction, IE), s oblastí, která byla
potencionálně relevantních dokumentů) k postupu, kdy
nesmírně populární a významná v době „statistického
uživatel položí konkrétní otázku a systém vrátí jasnou
obratu“ v počítačové lingvistice na počátku 90. let
odpověď:
minulého století. Cílem IE je identifikace specifických
24
informací ve specifických třídách dokumentů, např.
shrnutí pak odpovídá generování textu, tj. vytvoření
detekce klíčových postav při převzetí společnosti, které
nového textu buď z jiného textu (viz shrnutí), nebo z
jsou uváděny v novinových článcích. Jiným příkladem
netextových dat. To může být využito ke generování
je podávání zpráv o teroristických incidentech, kdy
zpráv o vývoji určitých dat v čase – např. generování
úkolem je mapovat text na šablonu vymezující
zpráv o počasí a kvalitě vzduchu, shrnutí lékařských
pachatele, cíl, čas, místo incidentu a výsledek incidentu.
diagnóz aj. Aplikace TG většinou nejsou samostatnou
Doménově řízené vyplňování šablon je hlavní
aplikací, bývají začleněny do větších sowarových
charakteristikou IE, což ji řadí mezi příklady technologií
produktů, jako je např. informační systém kliniky, ve
„v zákulisí“. Je dobře vymezenou výzkumnou oblastí, ale
kterém jsou shromažďovány, ukládány a zpracovávány
z praktického hlediska musí být začleněna do vhodného
údaje o pacientech, a generování zpráv je jednou z jeho
aplikačního prostředí.
funkcionalit. V České republice je několik výzkumných skupin,
Aplikace jazykových technologií zajišťují značnou funkcionalitu v zákulisí větších softwarových systémů.
které pracují na mezinárodních (rozuměj anglických) aplikacích. Pouze část výzkumného úsilí je zaměřena na češtinu, a sice existují dílčí komponenty počítačového zpracování češtiny, jako jsou kontrola překlepů,
Dvě „mezní“ oblasti, které někdy vystupují samostatně a někdy jako podpůrné komponenty, jsou shrnutí textu (text summarization, TS) a generování textu (text generation, TG). Aplikace TS dělají z delšího textu kratší text a jsou nabízeny například jako funkcionalita editoru MS Word. Většinou vycházejí ze statistiky a
korpusy,
morfologické
desambiguátory,
valenční
slovníky, analyzátor českých kolokací (Word Sketch Engine for Czech vyvinutý na Masarykově univerzitě v Brně [36]), rozpoznávání a generování mluvené řeči; komplexní systém použitelný v průmyslu dosud neexistuje.
postupují tak, že nejdříve v textu identifikují „důležitá“
Pokud je nám známo, pro češtinu existuje jediný
slova (tj. např. slova, která se vyskytují často v textu,
dialogový systém (aplikace QA), a sice UIO (Umělá
ale podstatně méně často v obecném užívání jazyka) a
inteligence opice), vyvinutý na Masarykově univerzitě
následně určují věty, které většinu těchto „důležitých“
v Brně [37]. UIO prohledává databáze a internet
slov obsahují. Tyto věty jsou poté použity na sestavení
a v aktuálně dostupné verzi může být použit pro
shrnutí. V tomto zdaleka nejpopulárnějším postupu
hledání ve vlakových a autobusových jízdních řádech,
znamená TS extrakci vět, tj. text je zredukován na
v programech kin a divadel, v kurzovních lístcích, v
podmnožinu vět. Všechny komerční systémy tento
kalendářích a v Diderotově encyklopedii. Pro všechny
postup aplikují. Alternativním přístupem je syntéza
uvedené domény vykazuje systém 80% úspěšnost v
nových vět, tj. sestavení shrnutí z vět, které se v
zodpovídání otázek. Konkurenční systém, dosud bez
dané formě nemusí ve zdrojovém textu vyskytovat.
jména, vzniká na Západočeské univerzitě.
Tento postup vyžaduje hlubší porozumění textu, a
Jednoduchý dialogový systém vznikl v Ústavu formální
proto je méně robustní. Ba co víc, je do značné míry
a aplikované lingvistiky, UK MFF ve spolupráci s
zaměřen na určitou doménu nebo žánr textu, protože
Katedrou kybernetiky Západočeské univerzity a v
je třeba specifických znalostí k dalšímu kroku abstrakce
omezené míře s některými partnery projektu FP6
zdrojového textu směrem k jeho obsahu. Sestavení
Companions [38]. Avatar konverzuje se seniorem o
25
archivu jeho osobních fotografií a o životních zážitcích
postiženým lidem, např. překládání mezi češtinou a
[39, 40, 41].
českou znakovou řečí.
Text-Mining
Research
Group
na
Západočeské
Další užitečnou aplikací (opět vyvinutou v Plzni) je
univerzitě vyvíjí tzv. User Profile Generation system
systém hlasového ovládání pro dentisty [47], který
[42]. Tento systém provádí dolování informací z
pracuje ve dvou režimech: v prvním režimu čte zprávu
textu v dokumentech shromážděných a nahlížených
o zubu pacienta a ve druhém nahrává to, co lékař
uživatelem. Uživatelem schválené informace se využívají
diktuje, a aktualizuje zprávu. Hlasové ovládání je
k doporučení konkrétních dokumentů pro další
zde nezbytné, protože lékař nemá během vyšetřování
vyhledávání, stejně tak i pro odhad uživatelovy
pacienta dovoleno se dotýkat obrazovky ani ovládání
odbornosti v dané doméně. Tato aplikace může být
diktovacího zařízení.
použita jako sowarová podpora digitálních knihoven. WebGen, vyvinutý na Masarykově univerzitě v Laboratoři vyhledávání a dialogu, (LSD lab [43]), je dialogový systém, který pomáhá zrakově postiženým lidem generovat webové prezentace v češtině [44].
Výzkumné skupiny Západočeské univerzity a ÚFAL UK MFF spolupracovaly v mezinárodním projektu MALACH (Multilingual Access to Large Spoken Archives a v hebrejštině znamená nebeský anděl), [48]. Skupiny byly zodpovědné za rozpoznávání mluvené
Vysoké technické učení v Brně, Fakulta informačních
řeči a sémantickou indexaci výpovědí zaznamenaných
technologií, Ústav počítačové grafiky a multimédií
v češtině a dalších slovanských jazycích. Univerzita
navrhl a implementoval klient-server soware pro
Karlova je jedním z míst, ve kterých je možné vyhledávat
zpracování mluvené řeči, který doplňuje sémantické
v archivu výpovědí těch, kteří přežili holokaust. ( Jiná
popisky do přepisů mluvené řeči (Speech Tagging, [45]).
přístupová místa se nacházejí ve Spojených státech,
Klient komunikuje se serverem přes webové rozhraní,
Německu, Maďarsku, Izraeli a Austrálii.)
přes které se provádí nahrání a analýza zvukových nahrávek. Uživatel má možnost definovat a organizovat
Organizace Shoah Foundation Institute´s Visual
tzv. „tags“ („značky“), které jsou skupinami sémanticky
History Archiv pořídila v letech 1994–1999 v 56
blízkých klíčových slov. Pokud je nějaké klíčové
zemích a ve 32 jazycích téměř 52 tisíc videonahrávek
slov nalezeno v nahrávce, je nahrávka označkována
výpovědí. Většina rozhovorů je vedena s přeživšími
odpovídajícím způsobem. Tato služba by mohla být
Židy, dále s politickými vězni, Romy a Sinty, Svědky
vhodná např. při krizovém řízení pro klasifikaci
Jehovovými, a dále s těmi, co přežili experimenty
telefonních hovorů podle pronesených slov. Pokud je
zušlechťování lidské rasy, homosexuály, zachránci a
nám ale známo, k využití systému v reálných aplikacích
osvoboditeli a účastníky soudních procesů s válečnými
doposud nedošlo.
zločinci.
Katedra kybernetiky Západočeské univerzity v Plzni
Archiv je přístupný on-line přes rozhraní, které
vyvinula několik aplikací pro zpracování mluvené
umožňuje uživatelům listovat výpověďmi a prohlížet je
češtiny, jako je dialogový systém s vlakovými jízdními
s využitím indexu 55 tisíc klíčových slov a frází. Pražské
řády nebo dialogový systém pro registraci studentů
přístupové místo uchovává více než 500 výpovědí v
ke zkouškám po telefonu (University Voice XML
češtině, každá výpověď trvá průměrně dvě hodiny.
information systém) [46]. Její výzkumné skupiny vedou
Další výpovědi musí být objednány on-line z jiných
několik projektů zaměřených na asistenci sluchově
přístupových míst, což většinou trvá několik hodin.
26
4.3.1 Miscelanea
ni existují nejpočetnější a nejkvalitnější jazykové zdroje. Proto není nikterak překvapující, že evropský výzkum a
Ukazuje se, že posuzovat úroveň národního výzkumu a
vývoj jazykově nezávislých technologií vychází převážně
vývoje v oblasti jazykových technologií a zpracování
z experimentů prováděných na angličtině.
řeči výhradně podle množství dostupných datových
V důsledku jmenovaných vlivů se národní týmy
zdrojů a funkčních aplikací pro daný jazyk by
soustřeďují spíše na angličtinu než na svůj mateřský
bylo krajně zavádějící. Tak se udržuje začarovaný
jazyk.
kruh: národní vlády i grantové agentury chtějí
To je třeba zohlednit při posuzování úrovně národního
podporovat jen ty nejlepší výzkumné týmy. Nejlepšími
výzkumu v oblasti jazykových technologií a zpracování
týmy jsou podle scientometrických ukazatelů ty,
přirozeného jazyka. Chudý inventář jazykových zdrojů
které dosáhly největšího množství mezinárodně
a chybějící aplikace pro daný jazyk neznamenají nutně
uznávaných publikací. Ovšem mezinárodních publikací
špatnou úroveň oboru v dané zemi jako takového,
se nesrovnatelně lépe dosahuje s mezinárodně
ale naopak můžou být závažným příznakem chybějící
zajímavým výzkumným tématem. Tematizujeme-li velké
vládní jazykové politiky. Pro jazyková společenství,
a strategické jazyky, jako je například angličtina, čínština
která jsou příliš malá na to, aby výzkum a vývoj
nebo arabština, sebemenší pokrok je mezinárodně
národních jazykových technologií byl ekonomicky
zajímavý a má tak naději na dobře hodnocenou
zajímavý pro soukromý sektor. V těchto případech
publikaci. Naproti tomu stejný výsledek na jazyku,
je cílená vládní podpora jazykových technologií pro
který běžně používá pouze malé společenství jeho
národní jazyk naprosto nezbytná.
rodilých mluvčích, má logicky mnohem menší mezinárodní dopad, a tudíž mnohem menší naději na prezentaci v prestižních médiích. Mezinárodně
4.4 VZDĚLÁVACÍ PROGRAMY
uznávaného hodnocení tak ve výzkumu malých
Pojmy „počítačová lingvistika“, „počítačové zpracování
jazyků zpravidla dosáhne jenom opravdový průlom v
přirozeného jazyka“ a „rozpoznání mluvené řeči“
některé z mezinárodně řešených problematik. Takový
jsou podstatně starší než pojem jazykové technologie,
nepochybný průlom je však ve vědě spíše svátkem
alespoň z pohledu výzkumu a vzdělávání. Bez ohledu
než pravidlem. Navíc, jde-li o dobrý výsledek vázaný
na terminologii, obory, které se věnují přirozenému
na problém jazykově specifický, je často nemožné
jazyku, zahrnují i obory výzkumu a vzdělávání,
ho přesvědčivě podat recenzentům, kteří daný jazyk
jako je teoretická lingvistika, korpusová lingvistika,
neovládají, například v přísně omezeném rozsahu
informatika, matematika, strojové učení aj.
konferenčního abstraktu.
V České republice působí několik institucí, které
Dalším nepříznivým faktorem pro výzkum a vývoj
věnují svůj výzkum a výuku počítačovému zpracování
jazykových technologií přímo na malých jazycích je fakt,
přirozeného jazyka. Níže uvádíme jejich seznam
že nejvíce oceňovanými řešeními jsou řešení nezávislá
včetně informací, na jaký podobor se zaměřují (PL
na konkrétním jazyku. Jejich komerční aplikace je
– počítačová lingvistika, KL – korpusová l., TL –
totiž mnohem levnější než jazykově specifická řešení.
teoretická l., ASR – rozpoznávání mluvené řeči) a jaké
Výsledky jednotlivých výzkumných týmů se nejlépe
studijní programy nabízejí.
porovnávají na stejném jazyku. Nejobvyklejším cizím jazykem je pro Evropany angličtina. Kromě toho pro
Univerzita Karlova v Praze
27
Ústav formální a aplikované lingvistiky (http://ufal.
mff.cuni.cz); PL, TL, ASR; Bc., Mgr., PhD.
Ústav Českého národního korpusu (http://ucnk.ff.
cuni.cz/english/index.php); KL; PhD.
Ústav teoretické a komputační lingvistiky (http://
utkl.ff.cuni.cz); PL; PhD. Vysoká škola ekonomická v Praze
Katedra informací a znalostního inženýrství (http:
Západočeská univerzita v Plzni
Katedra kybernetiky (http://www.kky.zcu.cz/en);
ASR; Bc., Mgr., PhD. Technická univerzita v Liberci
Laboratoř počítačového zpracování řeči (https://
www.ite.tul.cz/speechlabe/); ASR. Univerzita Karlova v Praze, Matematicko-fyzikální fakulta (UK MFF) nabízí evropský magisterský a postgraduální studijní program tzv. European Master Program in Language and Communication
//kizi5.vse.cz); získávání znalostí, sémantický web,
Technologies. Díky této aktivitě může UK MFF hostit
ontologie; BSc, MSc, PhD.
zahraniční studenty, kteří jsou zároveň zdrojem impulsů pro zpracování dalších jazyků pro jejich české kolegy.
České vysoké učení technické v Praze
Výzkum přirozeného jazyka v privátní sféře není v ČR rozšířen a zabývají se jím spíše menší firmy (např.
Katedra kybernetiky (http://cyber.felk.cvut.cz/);
robotika, umělá inteligence; Bc., Mgr., PhD.
Lingea, Captaworks, Langso) a spinoffy založené univerzitními týmy (např. SpeechTech – ZČU Plzeň, Phonexia – VUT Brno).
Katedra teorie obvodů (http://noel.feld.cvut.cz/
Studijní programy vzdělávacích institucí jsou zaměřeny
speechlab/start.php?page=projects&lang=en#2);
jak na teoretické znalosti, tak i na aplikace. Bohužel,
ASR; Bc., Mgr., PhD.
poptávka po odbornících těchto programů je v ČR nízká.
Masarykova univerzita v Brně
Laboratoř počítačového zpracování jazyka (http://
nlp.fi.muni.cz/en/nlplab); PL, ASR.
Ústav českého jazyka (http://www.muni.cz/phil/
211700?lang=en); CL, TL; Bc., Mgr., PhD.
4.5 NÁRODNÍ PROJEKTY A INICIATIVY Průmyslový rozvoj jazykových technologií není v České republice zdaleka rozšířen, podnikání v oblasti jazykových technologií je spíše vzácné. Stejná situace
Vysoké učení technické v Brně
je i ve vědeckých a výzkumných odděleních větších společností.
Skupina zpracování řeči (http://speech.fit.vutbr.
cz/); ASR.
V současné době využívají webové vyhledávače a webové služby (Seznam, Centrum, Google aj.) morfologickou analýzu a lematizaci. Google nabízí tzv. frázový strojový
Výzkumná skupina automatického zpracování
překlad webových stránek i vlastních textů uživatelů
jazyka (http://www.fit.vutbr.cz/research/groups/
z a do češtiny. Seznam nabízí dvoujazyčné on-line
nlp/index.php?lang=en); CL.
slovníky s češtinou na jedné straně a s angličtinou,
28
němčinou, francouzštinou, španělštinou a ruštinou na
oboru (0 nejhorší, 6 nejlepší).
straně druhé. Několik společností vytváří a publikuje dvoujazyčné elektronické slovníky jako aplikace pro MS Windows, případně Linux. Většina z nich obsahuje morfologickou analýzu a/nebo lemmatizaci, některé z nich také ontologie. Na mobilních telefonech je možné používat českou
4.6.1 Poznámky k tabulce
Existuje sice řada specifických korpusů, ale
syntakticky anotovaný korpus češtiny žádoucího rozsahu neexistuje.
verzi T9. Balíčky kancelářského sowaru (např.
Existuje velmi komplexní syntakticky anotovaný
Microso Office 2010) zahrnují pro češtinu kontrolu
korpus pro češtinu, není však zdarma (dá se koupit
překlepů, kontrolu pravopisu, někdy strojový překlad
přes Linguistic Data Consortium). Na tomto
a rozpoznávání mluvené řeči (tj. zpracování hlasového
korpusu probíhají navazující anotace (koreference,
vstupu).
diskurz), nejsou ale ještě dokončeny.
Nahrávky poskytování
telefonních
hovorů
nápovědy/informací,
a
pro
Existuje velmi rozsáhlý korpus českých textů, ale
využívají
není k dispozici pro automatické zpracování (pouze
aplikace které
automatické rozpoznávání mluvené řeči (ASR), zůstávají nevyužity. Proběhl sice pilotní projekt univerzitních skupin, které se ASR věnují (hlavně Západočeská univerzita v Plzni a Technická univerzita v Liberci), ale k širšímu průmyslovému využití těchto technologií doposud nedošlo. Rozpoznávání mluvené češtiny komercializovala společnost Newton Technologies, coby spinoff Technické univerzity v
pro on-line prohledávání).
Řada zdrojů neodpovídá běžným standardům a u
mnohých není jasná udržovatelnost; data je potřeba standardizovat a umožnit sdílení formátů.
Rozsah a kvalita zdrojů potvrzují, že sémantika je
složitější než syntax; sémantika textu je složitější než sémantika slov a vět.
Liberci. Většina vládou financovaných programů je
Během výzkumu byla vytvořena řada kvalitních
spravována Grantovou agenturou České republiky
nástrojů; za současných podmínek financování je
(GAČR) s důrazem na základní výzkum. V roce
však téměř nemožné dosáhnout udržitelných a
2009 byla založena Technologická agentura České
standardizovaných řešení.
republiky (TAČR) s ambicemi finančně podporovat
Existuje sice ontologický zdroj pro češtinu (dokonce
aplikovaný výzkum. Domníváme se ale, že tato agentura
namapovaný na další evropské jazyky), trpí však
doposud nefinancovala projekt zaměřený na jazykové
výrazně malým pokrytím.
technologie.
Rozpoznávání mluvené češtiny je zkoumáno na
několika univerzitách a pracovištích, volně dostupné
4.6 DOSTUPNÉ NÁSTROJE A ZDROJE PRO ČEŠTINU Následující tabulka 8 (str. 30) podává přehled
nástroje a data však nejsou k dispozici.
Rozpoznávače řeči pracující s velkými slovníky
se potýkají se specifickými problémy modelování češtiny.
aktuálního stavu dostupných jazykových technologií
V oblasti syntézy řeči existují open-source balíčky,
pro češtinu. Ohodnocení jednotlivých nástrojů a zdrojů
ale syntéza s přirozenějším hlasem je dostupná jen v
je založeno na odborném odhadu expertů v daném
komerčních aplikacích.
29
Kvalita
Pokrytí
Vyzrálost
Udržovatelnost
Adaptabilita
3
4
4
3
3
4
3
Syntéza mluvené řeči
3
3
3
4
3
3
2
Syntaktická analýza
4
2
4
4
3
2
4
Sémantická analýza
1
1
2
2
1
2
2
Generování jazyka
2
1
3
3
3
2
4
Strojový překlad
4
3
1
2
3
2
3
Množství
Dostupnost
Rozpoznávání mluvené řeči
Jazykové technologie (nástroje, technologie a aplikace)
Jazykové zdroje (zdroje, data, znalostní databáze) Textové korpusy
4
3
5
4
5
4
1
Korpusy mluvené řeči
4
1
4
2
3
3
2
Paralelní korpusy
2
4
2
3
2
2
3
Lexikální zdroje
4
2
3
4
2
3
2
Gramatiky
1
1
3
2
2
1
1
8: Tabulka nástrojů a datových zdrojů pro češtinu
Nedostupnost vysoce kvalitního rozpoznávání
mluvené češtiny výrazně přispívá k nízkému rozšíření českých dialogových systémů.
4.7 POROVNÁNÍ NAPŘÍČ JAZYKY
V oblasti prohledávání webu není mnoho prostoru
Aktuální stav podpory jazykových technologií se liší
ke zlepšování existujících místních vyhledávacích
napříč jazykovými skupinami. V této části prezentujeme
služeb v rámci spolupráce akademické a průmyslové
vyhodnocení dvou aplikačních oblastí (strojový překlad
sféry.
a zpracování mluvené řeči) a jedné základní technologie (analýza textu) spolu s vyhodnocením datových zdrojů nezbytných pro vytváření aplikací jazykových
Na závěr můžeme konstatovat, že v řadě konkrétních
technologií. Z výše uvedených tabulek vyplývá, že
oblastí výzkumu českého jazyka máme v současné
jazykově-technologické prostředky a nástroje pro
době k dispozici soware s omezenou funkčností a
češtinu zatím zjevně nedosahují kvality a pokrytí
prostředky s omezeným rozsahem a jen některé z
srovnatelných zdrojů a nástrojů pro angličtinu a některé
nich jsou publikovány jako open-source. Je nasnadě, že
další „větší“ jazyky v EU. Přitom stále ještě ve zdrojích i
další výzkumné snahy musí být zaměřeny na současné
pro angličtinu – s ohledem na vysokou kvalitu aplikací
nedostatky.
– narážíme na mnoho nedostatků.
30
Současné komponenty analýzy textu a jazykové
výzkumná komunita, která má poměrně dlouhou tradici
zdroje zahrnují jazykové jevy češtiny jen do
a byla v minulosti podpořena různými výzkumnými
určité míry; většinou jsou součástí aplikace pro
programy. Pro češtinu byla vytvořena řada zdrojů a
povrchové zpracování přirozeného jazyka, např. opravu
technologií. Ve srovnání s prostředky a nástroji pro
pravopisných chyb.
angličtinu je však rozsah zdrojů a nástrojů stále velmi
Pro vybudování propracovanějších aplikací, jako je
omezený a kvalitou a množstvím stále ještě nedostačující
strojový překlad, jsou však zřejmě potřebné zdroje a
pro vývoj technologií potřebných pro podporu skutečně
technologie, které pokrývají širší spektrum jazykových
mnohojazyčné společnosti založené na znalostech.
aspektů a umožňují hloubkovou sémantickou analýzu
Stejně tak nemůžeme technologie, které byly vyvinuty
vstupního textu. Zlepšením kvality a rozsahu těchto
a optimalizovány pro angličtinu, jednoduše přenést
základních zdrojů a technologií bude možné nalézt
na češtinu. Systémy pro parsing (syntaktickou a
další moderní aplikační oblasti, včetně vysoce kvalitního
gramatickou analýzu větné struktury) založené na
strojového překladu vybudovaného na dobrých
angličtině obvykle fungují na českých textech daleko
základech.
hůře, a to kvůli specifickým vlastnostem českého jazyka. Odvětví technologií zabývajících se českým jazykem,
4.8 ZÁVĚR V této řadě Bílých knih jsme vyvinuli snahu o zhodnocení podpory jazykových technologií pro 30 evropských jazyků a na vysoké úrovni jsme provedli srovnání napříč těmito jazyky. Díky nalezení nedostatků, potřeb a deficitů jsou společenství evropských jazykových technologií a ostatní zainteresované strany nyní schopny narhnout rozsáhlý program výzkumu a výoje s cílem vybudovat opravdu vícejazyčnou, technicky zdatnou Evropu. Viděli jsme, že mezi evropskými jazyky jsou velké rozdíly. Zatímco pro některé jazyky a oblasti použití máme kvalitní soware a zdroje, jiné (obvykle „menší“ jazyky) mají značné nedostatky. Mnohým jazykům chybí základní technologie pro analýzu textu a nezbytné zdroje pro rozvoj těchto technologií. Jiné jazyky
která se věnují transformaci výzkumu do produktů, jsou v současné době rozdrobená a nepřehledná. Většina velkých společností své úsilí v oblasti jazykových technologií zastavila nebo výrazně omezila a přenechala pole působnosti řadě specializovaných malých a středních podniků, které nejsou dostatečně silné pro řešení vnitřního a světového trhu trvalými strategiemi. Výsledky pro češtinu ukazují, že jedinou alternativou je vyvinout značné úsilí pro rozšíření jazykovětechnologických zdrojů pro češtinu a použít je pro pokroky ve výzkumu, inovacích a vývoji. Potřeba velkého množství dat a velká složitost jazykovětechnologických systémů ukazuje, že je nezbytné vytvořit novou infrastrukturu a soudržnější výzkumné organizace, aby podněcovaly lepší sdílení a spolupráci.
základní nástroje a zdroje mají, ale nejsou ještě schopny
Narážíme
zde
také
investovat do sémantického zpracování. Z tohoto
financování
důvodu je třeba vyvinout ještě velké úsilí k dosažení
koordinované programy se obvykle střídají s obdobími
ambiciózního cíle poskytovat kvalitní strojový překlad
řídkého nebo nulového financování. Navíc se zde
mezi všemi evropskými jazyky.
setkáváme s celkovým nedostatkem koordinace s
V případě českého jazyka můžeme být v souvislosti s
programy v jiných zemích EU a na úrovni Evropské
podporou jazykových technologií mírně optimističtí.
komise.
V České republice je fungující jazykově-technologická
Můžeme tedy konstatovat, že existuje silná potřeba
výzkumu
na a
nedostatek
kontinuity
vývoje.
Krátkodobě
31
velké, koordinované iniciativy zaměřené na překonávání
pomohou ke stržení stávajících bariér a k budování
rozdílů v připravenosti jazykových technologií pro
mostů mezi evropskými jazyky. To zároveň vyžaduje,
evropské jazyky jako celek. Dlouhodobým cílem
aby všechny zúčastněné strany – v politice, výzkumu,
projektu META-NET je představit kvalitní jazykové
podnikání a ve společnosti – spojily své úsilí zaměřené
technologie pro všechny jazyky v EU. Tyto technologie
na budoucnost.
32
Excelentní podpora
Velmi dobrá podpora Angličtina
Dobrá podpora Čeština Finština Francouzština Holandština Italština Němčina Portugalština Španělština
Dostatečná podpora Baskičtina Bulharština Dánština Estonština Galicijština Irština Katalánština Maďarština Norština Polština Řečtina Srbština Slovenština Slovinština Švédština
Nízká/neexistující podpora Chorvatština Islandština Litevština Lotyština Maltština Rumunština
9: Jazykové skupiny pro zpracování mluvené řeči
Excelentní podpora
Velmi dobrá podpora Angličtina
Dobrá podpora Francouzština Španělština
Dostatečná podpora Holandština Italština Katalánština Maďarština Němčina Polština Rumunština
Nízká/neexistující podpora Baskičtina Bulharština Chorvatština Čeština Dánština Estonština Finština Galicijština Islandština Irština Litevština Lotyština Maltština Norština Portugalština Řečtina Srbština Slovenština Slovinština Švédština
10: Jazykové skupiny pro strojový překlad
33
Excelentní podpora
Velmi dobrá podpora Angličtina
Dobrá podpora Francouzština Holandština Italština Němčina Španělština
Dostačující podpora Baskičtina Bulharština Čeština Dánština Finština Galicijština Katalánština Maďarština Norština Polština Portugalština Rumunština Řečtina Slovenština Slovinština Švédština
Nízká/neexistující support Chorvatština Estonština Irština Islandština Litevština Lotyština Maltština Srbština
11: Jazykové skupiny pro analýzu textu
Excelentní podpora
Velmi dobrá podpora Angličtina
Dobrá podpora Čeština Francouzština Holandština Italština Maďarština Němčina Polština Španělština Švédština
Dostačující podpora Baskičtina Bulharština Chorvatština Dánština Estonština Finština Galicijština Katalánština Norština Portugalština Rumunština Řečtina Srbština Slovenština Slovinština
Nízká/neexistující support Irština Islandština Litevština Lotyština Maltština
12: Jazykové skupiny pro jazykové zdroje
34
5 O SÍTI META-NET META-NET je Síť excelence částečně financovaná
stejná vize a které mají obdobnou strategii výzkumu
Evropskou komisí. V současné době se skládá z 54 členů
(Strategic Research Agenda, SRA). Hlavním cílem této
z 33 evropských zemí [49]. META-NET podporuje
činnosti je vytvořit v Evropě ucelenou a soudržnou
Multilingual Europe Technology Alliance (META),
komunitu jazykových technologií tím, že seznámí
rozrůstající se komunitu odborníků na jazykové
jednotlivé zástupce z oddělených a velice různorodých
technologie a jazykově-technologických organizací v
skupin zúčastněných stran mezi sebou. Bílá kniha byla
Evropě:
vytvořena pro 29 dalších jazyků, každému je věnován
umožňuje komunikaci a spolupráci napříč jazyky;
zajišťuje rovný přístup k informacím a znalostem v
jakémkoli jazyce;
podporuje funkcionality propojených informačních
zvláštní díl. Byla založena rada META Technology Council s cílem diskutovat a připravit vize úzké spolupráce v komunitě jazykových technologií. META-SHARE vytváří otevřený nástroj pro výměnu a sdílení zdrojů. Repozitář tzv. sítě peer-to-peer („klient-
technologií. META-NET stimuluje a podporuje vícejazyčné technologie pro všechny evropské jazyky. Tyto technologie umožňují automatický překlad, produkci textů, zpracování informací a management znalostí pro širokou škálu aplikací a specializovaných oborů. Zároveň umožňují intuitivní jazykové rozhraní k technologiím typu domácí spotřebiče, strojní zařízení,
klient“) obsahuje jazyková data, nástroje a webové služby, které jsou dokumentovány kvalitními metadaty a organizovány ve standardizovaných kategoriích. Takové zdroje je snadné získat a jsou i jednotně prohledávány. Dostupné zdroje zahrnují volné materiály z otevřených zdrojů i materiály omezené, komerčně dostupné a placené.
vozidla, počítače, roboti aj. META-NET zahájil svou
META-RESEARCH staví mosty mezi technologicky
činnost 1. února 2010 a již podnikl několik dalších
blízkými oblastmi. Zejména se soustřeďuje na strojový
aktivit, které napomáhají jeho cílům – META-VISION,
překlad.Zároveň se META-RESEARCH zaměřuje na
META-SHARE a META-RESEARCH představují tři
sběr a zpracování dat a uspořádání jazykových zdrojů
směry jeho činnosti.
pro účely hodnocení. Dále se zabývá sestavováním
META-VISION podporuje dynamickou a vlivnou
inventáře nástrojů a metod a pořádáním workshopů a
komunitu zainteresovaných subjektů, které spojuje
vzdělávacích seminářů pro členy své komunity.
offi
[email protected] – http://www.meta-net.eu
35
1 EXECUTIVE SUMMARY During the last 60 years, Europe has become a distinct
ket, but also in trade relations with non-European coun-
political and economic structure. Culturally and lin-
tries, especially emerging economies. Language technol-
guistically it is rich and diverse. However, from Por-
ogy solutions will eventually serve as a unique bridge be-
tuguese to Polish and Italian to Icelandic, everyday com-
tween Europe’s languages. An indespensable prerequi-
munication between Europe’s citizens, within business
site for their development is first to carry out a system-
and among politicians is inevitably confronted with lan-
atic analysis of the linguistic particularities of all Euro-
guage barriers. e EU’s institutions spend about a bil-
pean languages, and the current state of language tech-
lion euros a year on maintaining their policy of multi-
nology support for them.
lingualism, i. e., translating texts and interpreting spoken communication. Does this have to be such a burden? Language technology and linguistic research can
Language technology builds bridges.
make a significant contribution to removing the linguistic borders. Combined with intelligent devices and
e automated translation and speech processing tools
applications, language technology will help Europeans
currently available on the market fall short of the en-
talk and do business together even if they do not speak
visaged goals. e dominant actors in the field are pri-
a common language. e Czech economy takes great
marily privately-owned for-profit enterprises based in
advantage from the European single market. But lan-
Northern America. As early as the late 1970s, the EU
guage barriers can bring business to a halt, especially
realised the profound relevance of language technol-
for SMEs who do not have the financial means to re-
ogy as a driver of European unity, and began funding
verse the situation. e only (unthinkable) alternative
its first research projects, such as EUROTRA. At the
to a multilingual Europe would be to allow a single lan-
same time, national projects were set up that generated
guage to take a dominant position, to replace all other
valuable results, but never led to a concerted European
languages. One way to overcome the language barrier
effort. In contrast to these highly selective funding ef-
is to learn foreign languages. Yet without technological
forts, other multilingual societies such as India (22 offi-
support, mastering the 23 official languages of the Euro-
cial languages) and South Africa (11 official languages)
pean Union and some 60 other European languages is an
have set up long-term national programmes for language
insurmountable obstacle for Europe’s citizens, economy,
research and technology development. e predomi-
political debate, and scientific progress. e solution is
nant actors in LT today rely on imprecise statistical ap-
to build key enabling technologies: language technolo-
proaches that do not make use of deeper linguistic meth-
gies will offer European stakeholders tremendous ad-
ods and knowledge. For example, sentences are oen au-
vantages, not only within the common European mar-
tomatically translated by comparing each new sentence against thousands of sentences previously translated by
37
humans. e quality of the output largely depends on
A company such as Trados, which was founded back in
the size and quality of the available data. While the auto-
1984, was sold to the UK-based SDL in 2005.
matic translation of simple sentences in languages with sufficient amounts of available textual data can achieve useful results, shallow statistical methods are doomed to
Language Technology helps to unify Europe.
fail in the case of languages with a much smaller body of sample data or in the case of sentences with complex, non-repetitive structures. Analysing the deeper structural properties of languages is the only way forward if we want to build applications that perform well across the entire range of European languages.
Drawing on the insights gained so far, it appears that today’s ‘hybrid’ language technology mixing deep processing with statistical methods will be able to bridge the gap between all European languages and beyond. As this series of white papers shows, there is a dramatic difference between Europe’s member states in terms of both
Language technology is a key for the future.
the maturity of the research and in the state of readiness with respect to language solutions. Czech is one of
e European Union is thus funding projects such as
the ‘smaller’ EU languages and needs further research
EuroMatrix and EuroMatrix+ (since 2006) and iTrans-
before truly effective language technology solutions are
late4 (since 2010), which carry out basic and applied
ready for everyday use. META-NET’s vision is high-
research, and generate resources for establishing high
quality language technology for all languages that sup-
quality language technology solutions for all European
ports political and economic unity through cultural di-
languages. European research in the area of language
versity. is technology will help tear down existing bar-
technology has already achieved a number of successes.
riers and build bridges between Europe’s languages. is
For example, the translation services of the European
requires all stakeholders – in politics, research, business,
Union now use the Moses open-source machine transla-
and society – to unite their efforts for the future.
tion soware, which has been mainly developed in Euro-
is white paper series complements the other strate-
pean research projects. Rather than building on the out-
gic actions taken by META-NET (see the appendix for
comes of these research projects, Europe has tended to
an overview). Up-to-date information such as the cur-
pursue isolated research activities with a less pervasive
rent version of the META-NET vision paper [2] or the
impact on the market. e economic value of even the
Strategic Research Agenda (SRA) can be found on the
earliest efforts can be seen in the number of spin-offs.
META-NET web site: http://www.meta-net.eu.
38
2 LANGUAGES AT RISK: A CHALLENGE FOR LANGUAGE TECHNOLOGY We are witnesses to a digital revolution that is dramati-
the creation of different media like newspapers, ra-
cally impacting communication and society. Recent de-
dio, television, books, and other formats satisfied dif-
velopments in information and communication tech-
ferent communication needs.
nology are sometimes compared to Gutenberg’s invention of the printing press. What can this analogy tell us
In the past twenty years, information technology has
about the future of the European information society
helped to automate and facilitate many processes:
and our languages in particular?
desktop publishing soware has replaced typewrit-
ing and typesetting;
The digital revolution is comparable to Gutenberg’s invention of the printing press.
Microso PowerPoint has replaced overhead projec-
tor transparencies;
e-mail allows documents to be sent and received
Aer Gutenberg’s invention, real breakthroughs in communication were accomplished by efforts such as Luther’s translation of the Bible into vernacular language. In subsequent centuries, cultural techniques have been developed to better handle language processing and knowledge exchange:
the orthographic and grammatical standardisation
of major languages enabled the rapid dissemination of new scientific and intellectual ideas;
the development of official languages made it possi-
ble for citizens to communicate within certain (often political) boundaries;
the teaching and translation of languages enabled ex-
changes across languages;
the creation of editorial and bibliographic guidelines
assured the quality of printed material;
more quickly than using a fax machine;
Skype offers cheap Internet phone calls and hosts
virtual meetings;
audio and video encoding formats make it easy to ex-
change multimedia content;
web search engines provide keyword-based access;
online services like Google Translate produce quick,
approximate translations;
social media platforms such as Facebook, Twitter
and Google+ facilitate communication, collaboration, and information sharing. Although these tools and applications are helpful, they are not yet capable of supporting a fully-sustainable, multilingual European society in which information and goods can flow freely.
39
2.1 LANGUAGE BORDERS HOLD BACK THE EUROPEAN INFORMATION SOCIETY
attention. Yet, it raises a very pressing question: Which European languages will thrive in the networked information and knowledge society, and which are doomed to disappear?
We cannot predict exactly what the future information society will look like. However, there is a strong likelihood that the revolution in communication technology is bringing together people who speak different languages in new ways. is is putting pressure both on individuals to learn new languages and especially on developers to create new technologies to ensure mutual understanding and access to shareable knowledge. In the global economic and information space, there is increasing interaction between different languages, speak-
2.2 OUR LANGUAGES AT RISK While the printing press helped step up the exchange of information in Europe, it also led to the extinction of many languages. Regional and minority languages were rarely printed and languages such as Cornish and Dalmatian were limited to oral forms of transmission, which in turn restricted their scope of use. Will the Internet have the same impact on our modern languages?
ers and content thanks to new types of media. e current popularity of social media (Wikipedia, Facebook, Twitter, Google+) is only the tip of the iceberg.
The variety of languages in Europe is one of its richest and most important cultural assets. Europe’s approx. 80 languages are one of our richest and
The global economy and information space confronts us with different languages, speakers and content.
most important cultural assets, and a vital part of this unique social model [4]. While languages such as English and Spanish are likely to survive in the emerging digital marketplace, many languages could become ir-
Today, we can transmit gigabytes of text around the
relevant in a networked society. is would weaken Eu-
world in a few seconds before we recognise that it is in
rope’s global standing, and run counter to the goal of
a language that we do not understand. According to a
ensuring equal participation for every citizen regardless
report from the European Commission, 57% of Inter-
of language. According to a UNESCO report on mul-
net users in Europe purchase goods and services in non-
tilingualism, languages are an essential medium for the
native languages; English is the most common foreign
enjoyment of fundamental rights, such as political ex-
language followed by French, German and Spanish. 55%
pression, education and participation in society [5].
of users read content in a foreign language while 35% use another language to write e-mails or post comments
now drastically changed. e amount of online content
2.3 LANGUAGE TECHNOLOGY IS A KEY ENABLING TECHNOLOGY
in other European (as well as Asian and Middle East-
In the past, investments in language preservation fo-
ern) languages has exploded. Surprisingly, this ubiqui-
cused primarily on language education and transla-
tous digital linguistic divide has not gained much public
tion. According to one estimate, the European market
on the web [3]. A few years ago, English might have been the lingua franca of the web – the vast majority of content on the web was in English – but the situation has
40
for translation, interpretation, soware localisation and web site globalisation was €8.4 billion in 2008 and is expected to grow by 10% per annum [6]. Yet this fig-
2.4 OPPORTUNITIES FOR LANGUAGE TECHNOLOGY
ure covers just a small proportion of current and future
In the world of print, the technology breakthrough was
needs in communicating between languages. e most
the rapid duplication of an image of a text using a suit-
compelling solution for ensuring the breadth and depth
ably powered printing press. Human beings had to do
of language usage in Europe tomorrow is to use appro-
the hard work of looking up, assessing, translating, and
priate technology, just as we use technology to solve our
summarising knowledge. We had to wait until Edison
transport and energy needs among others.
to record spoken language – and again his technology
Language technology targeting all forms of written text
simply made analogue copies.
and spoken discourse can help people to collaborate,
Language technology can now simplify and automate
conduct business, share knowledge and participate in
the processes of translation, content production, and
social and political debate regardless of language barri-
knowledge management for all European languages. It
ers and computer skills. It oen operates invisibly inside
can also empower intuitive speech-based interfaces for
complex soware systems to help us already today to:
household electronics, machinery, vehicles, computers
find information with a search engine;
and robots. Real-world commercial and industrial applications are still in the early stages of development,
check spelling and grammar in a word processor;
yet R&D achievements are creating a genuine window
view product recommendations in an online shop;
of opportunity. For example, machine translation is al-
follow the spoken directions of a navigation system;
ready reasonably accurate in specific domains, and ex-
translate web pages via an online service.
perimental applications provide multilingual information and knowledge management, as well as content
Language technology consists of a number of core ap-
production, in many European languages. As with most
plications that enable processes within a larger applica-
technologies, the first language applications such as
tion framework. e purpose of the META-NET lan-
voice-based user interfaces and dialogue systems were
guage white papers is to focus on how ready these core
developed for specialised domains, and oen exhibit
enabling technologies are for each European language.
limited performance. However, there are huge market opportunities in the education and entertainment industries for integrating language technologies into
Europe needs robust and affordable language technology for all European languages.
games, edutainment packages, libraries, simulation environments and training programmes. Mobile information services, computer-assisted language learning so-
To maintain our position in the frontline of global inno-
ware, eLearning environments, self-assessment tools and
vation, Europe will need language technology, tailored
plagiarism detection soware are just some of the ap-
to all European languages, that is robust and affordable
plication areas in which language technology can play
and can be tightly integrated within key soware envi-
an important role. e popularity of social media ap-
ronments. Without language technology, we will not be
plications like Twitter and Facebook suggest a need for
able to achieve a really effective interactive, multimedia
sophisticated language technologies that can monitor
and multilingual user experience in the near future.
posts, summarise discussions, suggest opinion trends,
41
detect emotional responses, identify copyright infringe-
for quickly generating a reasonable approximation of a
ments or track misuse.
document’s contents, are fraught with difficulties when highly accurate and complete translations are required.
Language technology helps overcome the “disability” of linguistic diversity. Language technology represents a tremendous opportunity for the European Union. It can help to address the complex issue of multilingualism in Europe – the fact that different languages coexist naturally in European businesses, organisations and schools. However, citizens need to communicate across the language borders of the
Due to the complexity of human language, modelling our tongues in soware and testing them in the real world is a long, costly business that requires sustained funding commitments. Europe must therefore maintain its pioneering role in facing the technological challenges of a multiple-language community by inventing new methods to accelerate development right across the map. ese could include both computational advances and techniques such as crowdsourcing.
European Common Market, and language technology can help overcome this final barrier, while supporting
Technological progress needs to be accelerated.
the free and open use of individual languages. Looking even further ahead, innovative European multilingual language technology will provide a benchmark for our global partners when they begin to support their own multilingual communities. Language technology can be seen as a form of “assistive” technology that helps overcome the “disability” of linguistic diversity and makes language communities more accessible to each other. Finally, one active field of research is the use of language technology for rescue operations in disaster areas, where performance can be a matter of life and death: Future intelligent robots with cross-lingual language capabilities have the potential to save lives.
2.6 LANGUAGE ACQUISITION IN HUMANS AND MACHINES To illustrate how computers handle language and why it is difficult to program them to process different tongues, let’s look briefly at the way humans acquire first and second languages, and then see how language technology systems work. Humans acquire language skills in two different ways. Babies acquire a language by listening to the real interactions between their parents, siblings and other family members. From the age of about two, children produce
2.5 CHALLENGES FACING LANGUAGE TECHNOLOGY
their first words and short phrases. is is only possi-
Although language technology has made considerable
Learning a second language at an older age requires
progress in the last few years, the current pace of tech-
more cognitive effort, largely because the child is not im-
nological progress and product innovation is too slow.
mersed in a language community of native speakers. At
Widely-used technologies such as the spelling and gram-
school, foreign languages are usually acquired by learn-
mar correctors in word processors are typically mono-
ing grammatical structure, vocabulary and spelling using
lingual, and are only available for a handful of languages.
drills that describe linguistic knowledge in terms of ab-
Online machine translation services, although useful
stract rules, tables and examples.
ble because humans have a genetic disposition to imitate and then rationalise what they hear.
42
pile vocabulary lists (lexicons). is is very time con-
Humans acquire language skills in two different ways: learning from examples and learning the underlying language rules.
suming and labour intensive. Some of the leading rulebased machine translation systems have been under constant development for more than 20 years. e great advantage of rule-based systems is that the experts have
Moving now to language technology, the two main
more detailed control over the language processing. is
types of systems acquire language capabilities in a similar
makes it possible to systematically correct mistakes in
manner. Statistical (or data-driven) approaches obtain
the soware and give detailed feedback to the user, es-
linguistic knowledge from vast collections of concrete
pecially when rule-based systems are used for language
example texts. While it is sufficient to use text in a single
learning. However, due to the high cost of this work,
language for training, e. g., a spell checker, parallel texts
rule-based language technology has so far only been de-
in two (or more) languages have to be available for train-
veloped for a few major languages.
ing a machine translation system. e machine learn-
As the strengths and weaknesses of statistical and rule-
ing algorithm then learns patterns of how words, short
based systems tend to be complementary, current re-
phrases and complete sentences are translated. is sta-
search focuses on hybrid approaches that combine the
tistical approach usually requires millions of sentences
two methodologies. However, these approaches have so
to boost performance quality. is is one reason why
far been less successful in industrial applications than in
search engine providers are eager to collect as much writ-
the research lab.
ten material as possible. Spelling correction in word pro-
As we have seen in this chapter, many applications
cessors, and services such as Google Search and Google
widely used in today’s information society rely heavily
Translate, all rely on statistical approaches. e great ad-
on language technology. Due to its multilingual com-
vantage of statistics is that the machine learns quickly in
munity, this is particularly true of Europe’s economic
a continuous series of training cycles, even though qual-
and information space. Although language technology
ity can vary randomly.
has made considerable progress in the last few years,
e second approach to language technology, and to
there is still huge potential in improving the quality of
machine translation in particular, is to build rule-based
language technology systems. In the following, we will
systems. Experts in the fields of linguistics, computa-
describe the role of Czech in European information so-
tional linguistics and computer science first have to en-
ciety and assess the current state of language technology
code grammatical analyses (translation rules) and com-
for the Czech language.
43
3 CZECH IN THE EUROPEAN INFORMATION SOCIETY 3.1 GENERAL FACTS
e Czech language has several varieties (formations),
Czech, one of the West Slavonic languages, has about 10
is a prestige variety used in school education, and
million speakers. Most of them are in the Czech Repub-
strongly preferred in official negotiations and in mass
lic (also called Czechia; hence CR), consisting of three
media. However, the use of literary Czech is not pre-
historical regions: Bohemia, Moravia and Silesia [7]. In
scribed by any law. e principles of language policy and
the other parts of the world, there are about 200 thou-
language planning are included in e Universal Decla-
sand speakers, mostly emigrants and the children of em-
ration of Human Rights and Freedoms. Among other
igrants who le the country in sizable migration waves
things, it guarantees to the citizens belonging to the mi-
around World War I and World War II, and the years
norities the rights to use their language in education, in
1948 and 1968. Many Czech speakers can be found
administrative and judicial proceedings. e Czech gov-
esp. in Austria (mostly in Vienna), Poland, Germany,
ernment delegates the language regulation to specialized
Ukraine, Croatia (mostly in Daruvar area), in Western
and pedagogical institutions, first of all to the Institute
Romania (in Banat), in Australia, and Canada. Several
of Czech Language of the Academy of Sciences (see the
tens of thousands of Czechs have continued to live in
Resolution of the Government of Czech Republic from
the Slovak Republic aer the split of Czechoslovakia in
November 26th, 2003, No 1189 + P). e CR has been
1993. However, the largest group of Czech speakers out-
one of the first countries to apply the Common Euro-
side of the CR lives in the United States, in cities like
pean Referential Framework for Languages. e regula-
New York, Chicago or Cleveland and in a number of
tion is a result of wide discussion among linguists, filol-
communities in Texas, Wisconsin, Minnesota, and Ne-
ogists, journalists, actors, professional speakers etc. e
braska. According to a US Census, more than 90,000
Institute of Czech Language codifies the orthoepy, or-
Czech speakers lived in the United States in 1990 [8].
thography, morphology and lexicon. e public is very
e Czech language is an official language in the CR,
sensitive to language changes, therefore the last, rather
since May 2004 it is also one of administrative languages
limited spelling reform occurred in 1993.
of the EU. According to the last census in 2001, 5,4%
In common communication, most people prefer rather
of Czech citizens report a different nationality than
other varieties of Czech than literary Czech. e most
Czech. Czech is used during administrative, judicial and
widespread variety is so-called Common Czech (based
other official proceedings. e manuals and description
on the Central Bohemian interdialect). In Moravia and
of imported goods must contain their Czech transla-
Silesia, the remnants of dialects (Hanak, Lach, Czecho-
tion.
Moravian) are still used actively in the spoken form. In
especially in its spoken form. Literary (Standard) Czech
44
Bohemia, the traces of Northeastern and Southwestern
Instr), 2 numbers (sg, pl) and 4 genders (masc. anim,
dialects can be heard [9]. Common Czech and dialects
mascinanim, fem, neutr). Every category has several
differ from the literary variant esp. in morphology, less
types of declensions (e. g., masc inanim has in school
in the lexicon and pronunciation, the other differences
grammars two types of declension “hrad” [castle] and
are marginal. All variants of Czech are mutually intel-
“stroj” [machine] with Gen sg “hradu”, “stroje” , respec-
ligible. However, so-called code-switching, i. e., the use
tively. However, some nouns classified as the “hrad” type
of the appropriate language variety based on the type of
have in Gen sg the ending –a (“lesa”), some have both
communication, speakers education, etc. is oen con-
endings (bez rybníku [without a pond], do rybníka [to
fusing for foreign learners of Czech.
a pond]).
Czech along with Slovak, Polish, and the Upper and
e noun gender is only partially influenced by the nat-
Low Sorbian belongs to the western Slavonic group.
ural gender, mostly it is determined by the ending of
However, Czech separated from the other Slavonic lan-
the lemma (word), though the ending itself is not un-
guages by a number of changes, most of which took
ambiguous; for foreigners this means to learn the new
place in the 10th through 16th centuries (sound changes
words together with their gender similarly as in German,
such as a’ > ě, g > h, r’> ř). On one hand, in 15th century,
where the nouns are accompanied in the lexicon by the
Czech lost the dual number and two of the Slavic past
determiners “der/die/das” (in Czech it is also necessary
tenses – the aorist and imperfect. On the other hand, the
to state the gender in the lexicon, e. g., “nůž” [knife] –
verbal aspect had grown more significant and the num-
masc inanim, “mříž” [lattice] – fem, “tabule” [desk] –
ber of declensions had increased. In writing, initially,
fem, “pole” [field] – neutr).
the medieval Latin alphabet was used. For sounds not present in Latin, digraphs were used. In the early 15th century, they were replaced by single letters with diacritics by the religious reformer Jan Hus („háček“ for the palatal/palatalized consonants – ť, ď, ň, ř, š, ť, ž; „čárka“ for long vowels – á, é, í, ó, ú, ý). e only digraph surviving in modern Czech is ch. Long u might have a ring – ů (coming from the chain of changes ó > uo > ů).
Any application processing Czech has to take into account its morphology. It is obvious that the classification given in school grammars is not sufficient for this purpose. Moreover, the flection requires not only the connection of a stem with an ending, but many times the morphonemic changes of the stem are part of inflection, see e. g., “hoch” (Nom sg), “hoši” (Nom pl) – [boy/boys], “řeka” (Nom sg) – “o řece” (Loc sg) [river], brána (Nom sg), branou (Instr sg) – [gate], “pásek”
The Czech language is a highly inflectional language with a complicated morphology.
(Nom sg), “pásku” (Gen sg) – [belt]. In Czech a rich ambiguity of endings exists (e. g., the ending –a within noun paradigm means Gen sg masc anim, Accus sg masc anim, Nom sg masc anim, Gen sg
3.2 PARTICULARITIES OF THE CZECH LANGUAGE
masc inanim, Nom sg fem, Gen sg neutr, Nom pl neutr,
e Czech language is a highly inflectional language
mal ambiguity is present e. g., with the form “prosí” –
with a complicated morphology. e noun declension
3. sg. ind. praes./ 3. pl. ind. praes. e analytical (com-
distinguishes 7 cases (Nom, Gen, Dat, Accus, Voc, Loc,
plex) verbal forms bring another complication: With
Accus pl neutr). e verbal morphology is complicated as well. e for-
45
the forms such as “psal jsem” [I wrote/I was writing],
word movements in the sentence along with word-form
“psal by” [he would write] the auxiliary verbs “jsem”,
ambiguities is oen a great obstacle for a correct parsing
“by” behave as clitics moving along the sentence and
of the sentence. Recently, the OVS pattern is oen used,
usually separated from their main verbal forms.
esp. in the newspaper headlines and in spoken commen-
From the other side, the agreement between noun and
taries, see ex. (4) and (5). Text in ex. (6) can be inter-
adjective is a good (and very oen sufficient) indication
preted in two ways, albeit similar to each other. Due to
for lowering the number of ambiguities (“velké stavení”
the case homonymy, it is possible to interpret the nouns
– Nom sg, “velkého stavení” – Gen sg, “velkému stavení”
“girl-friend” or “mother-in-law” either as a direct or an
– Dat sg [large building], while a single form “stavení”
indirect object (which influences the interpretation of
means Nom sg, Gen sg, Dat sg, Accus sg, Loc sg, Nom
the other noun). In (5) the ambiguity is multiplied by
pl, Gen pl, Accus pl.). Czech has so-called free word
the lexical ambiguity of the verb in one of the sentence
order. It means that the scheme SVO is not an oblig-
readings [10]:
atory pattern of Czech sentence. e case endings are again a good means helping with identification of the
4. Třicet nemocnic (Nom/Accus) chce zrušit Minister-
subject, (direct) object, (indirect) object and other syn-
sto zdraotnictví (Nom/Accus).
tactic functions of the words in the sentence. Compare
[lit. irty – hospitals – want – to liquidate – Min-
examples (1), (2), (3):
istry of Health] [irty hospitals want to liquidate the Ministry of
1. Syn (Nom) poslal matce (Dat) dárek (Accus). [lit. e son – sent – mother – a gi] [e son sent to his mother a gi] 2. Dárek (Accus) poslal matce (Dat) syn (Nom). [lit. e gi – sent – mother – the son] [e son sent to his mother a gi] 3. Dárek (Accus) poslal syn (Nom) matce (Dat).
Health] 5. Dítě (Nom/Accus) vyzvedne taxík (Nom/Accus). [lit. A child – take/li – a taxi] [A child will take/li a taxi] 6. Anna (Nom) představila přítelkyni (Dat/Accus) tchyni (Dat/Accus). [lit. Anne – introduced – girl-iend – mother-in-
[lit. e gi – sent – the son – mother]
law] with two translations:
[e son sent to his mother a gi]
[Anne introduced her girl-iend to her mother-inlaw/Anne introduced to her girl-iend her mother-
e noun cases are in all three sentences the same
in-law]
and they allow assigning the syntactic functions to the nouns. ese three variants differ as to their information
ese ambiguities can be solved only by the seman-
structure in that sense, which information is known and
tic and pragmatic knowledge. e possibility of word-
which is introduced as the new one. In ex. (1) a “neutral”
order shis causes discontinuities (as in ex. 7)), which
word order is used and the sentence fits at the beginning
represent some troubles for NLP systems. For an au-
of the text or discourse. In ex. (2) the words “gi” and
tomatic syntactic analysis of any type the separation of
“mother” are known from the context and the agent of
constituents is difficult to solve:
the action (son) is introduced as a piece of new information. In ex. (3) the addressee (“mother”) is focused as
7. Tu knihu se Pavel rozhodl do knihovny vrátit až zítra.
a new piece of information. However, the possibility of
[lit. is – book – REFL – Paul – decide – to library
46
– to return – only – tomorrow]
Some borrowings stand out of Czech grammatical sys-
[Paul decided to return this book to library only to-
tem (“prodávají zájezdy all inclusive” [they sell the trips
morrow]
all inclusive], “nový PR manažér” [a new PR manager] with the pronunciation “pí-ár”).
3.3 RECENT DEVELOPMENTS
Occasionally, whole English phrases are translated
ough the Czech language preserves 98% of its vo-
word-by-word (so-called “calques”) and they are used
cabulary from the Old Slavonic language, it is not in-
as fashionable, e. g. “mějte hezký den” [have a nice
sensitive to the influence of other languages [11]. Till
day], “opatrujte se!” [take care!]. e names of com-
the 19th century German was the main language in
panies, firms, shops, restaurants and other local proper
contact (see e. g., words as “knedlík” [der Knődel; the
names oen consist of a combination of the Czech
dumpling], “šunka” [der Schinken; the ham], “taška”
and foreign parts (Novodvorská Plaza, Langhans Ga-
[die Tasche; the bag], “brýle” [die Brille; the glasses],
lerie). While the foreign part of these compounds re-
“blok” [der Block; the block], “cihla” [der Ziegel; the
mains without morphological changes, the Czech part is
brick], “muset” [műssen; must]).
properly inflected, so that an untypical and non-Czech
In the 20th century, the CR was under the politi-
syntactic constructions appear (“navštívil Langans Ga-
cal influence of Russia (Soviet Union). New words
lerii” [he visited the Langhans Gallery] instead of the
connected with politics and socialistic ideology were
traditional syntactic construction with a postponed at-
adapted for Czech. However, recently they have disap-
tribute in Nominative (regardless of the case of the
peared gradually from the language together with the
noun phrase): “navštívil Galerii Langhans” [he visited
disappearance of the notions and objects they referred
the Gallery Langhans], “šel do Galerie Langans” [he
to (“kulak” [rich farmer], “pětiletka” [five years eco-
went to the Gallery Langhans].
nomic plan], “celiny” [great fields], “chozrasčot” [state economic plan], “prověrka” [personal political review]).
e young generation uses expressions and phrases to
Recently, English has become the language which has
demonstrate that they are “cool” (“houmlesák” [home-
had the most important influence on the lexicon and
less person], “chodí do fitka” [he attends a fitness cen-
phraseology of Czech. While some of the borrowings
ter], “soráč“ [sorry], “lúzr” [looser], “prezoška” [presen-
are not new (e. g., “fotbal” [football],”hokej” [hockey]),
tation]).
most of them entered the Czech language recently. A large number of borrowings is from the domain of the
From the other side, the Czech language enriched the
IT terminology (“harddisk”, “byte”, “soware”, “reseto-
international lexicon by the word “robot” (used in the
vat”, “flesh disk”, “odlogovat se”etc.). Some of them have
1930’s by the writer Karel Čapek and his brother Josef in
Czech equivalents which are used only rarely (“pevný
the play R.U.R.). e neologisms in the Czech language
disk” [hard-disk], “programové vybavení” [soware]),
were published in 3 books edited by Olga Martincová
but in some cases there is no Czech equivalent (“re-
and others (see [12]). e facts presented in this sec-
set”). e older loaned words were fully adapted in
tion and following the influence of languages in contact
Czech entering its inflectional and word-derivation sys-
are as to the development of Czech vocabulary marginal
tem (e. g. “weekend” with an orthographic variant “vík-
and they do not represent any dangerous for the system
end” – “víkendu” (Gen sg), “víkendový” – adjective).
of Czech scientific terminology.
47
3.4 LANGUAGE CULTIVATION IN THE CZECH REPUBLIC
ning as well as of the results of a research ( Jazykovědné
As mentioned in the section General Facts, the Institute
Kruh přátel eského jazyka [e Circle of Friends of
of Czech Language of Academy of Science of Czech Re-
Czech Language]), e journal Naše řeč [Our Speech]
public influences the language policy in the CR. Its Ad-
is devoted solely to the questions of language cultiva-
visory Department is an important section of this In-
tion.
stitute. Experienced linguists working here answer the
e results of wide discussions are reflected in the nor-
questions asked by public in written form, by e-mail or
mative grammars and in other normative handbooks.
by direct telephone calls. Practical popular handbooks
e language rules in them are formulated as a recom-
are published as a reaction on the deep interest of the
mendation for the users who are interested in a cultural
Czech society in the language culture and the prob-
way of expression in their native language. e use of
lems of language planning. ese include for example
normative handbooks is required as obligatory in the el-
the handbooks “Na co se nás často ptáte” [e frequent
ementary and secondary schools by the Ministry of Ed-
questions for us] [13], “Jak používat čárku a další in-
ucation, Youth and Sport of the CR.
sdružení ČR [Linguistic Society of Czech Republic], Pražský lingvistický kroužek [Prague Linguistic Circle],
terpunkční znaménka” [How to use commas and other punctuation] [14]. e Institute provides special web pages as a supplement service for the public [15]. However, the language policy in the CR is generally
The Czech language is an obligatory subject in all types of the elementary and secondary (high) schools.
far from prescriptive approach. e functional point of view introduced by the members of the classical Prague Linguistic Circle (founded in 1926) continues to describe the language development through the studies of
3.5 LANGUAGE IN EDUCATION
the concrete results of communication acts. e mem-
It also belongs to obligatory subjects for a school-leaving
bers of the Prague Linguistic Circle demonstrated the
examination. However, the subject is called “Czech lan-
impropriety of the purist approach to the language pol-
guage and literature” and covers teaching of the lan-
icy based on the principle “correct” vs. “incorrect”. ey
guage (its grammar and other types of language skills) as
point out that the stratification of the standard Czech
well as the literature (including some notions from the
into several varieties (see the section General Facts) is
literary science). Because there is no subject in school
a source of a rich choice of a proper variety for a proper
curricula which involves the world literature, a brief sur-
situation. e fact that the Czech native speakers do not
vey of it is included under the roof of the subject “Czech
use the same variety at school or at the official meetings
language and literature”. A discussion among specialists
addressing the wide public as they do in the common
in the didactics, psychology, Czech language and lit-
talks at home, at shops or during the chats with friends
erary scientists and the Ministry of Education, Youth
was respected and the research of the talks in different
and Sport about the separation of the Czech language
communicative situations is described and presented on
on one side and the Czech and World literature on the
the functional basis.
other in the school curriculum took place 4–5 years ago.
ere are many platforms for the linguistic discussion
Unfortunately, the discussion failed, and in this respect
connected with language policy and language plan-
the situation has not changed.
48
In the CR there are no serious problems connected with
tences to practice and tools for viewing these sentences,
language education of migrants such as in France or
for composing exercises and practicing. Even more, the
Germany. However, the knowledge of the Czech lan-
STYX system contains a module “Capek” – a simple an-
guage attested by the certificates given by the accredited
notation editor that can be used to practice annotation
institutes (e. g. Institute for language and Preparatory
on arbitrary sentences, not just those provided by the ex-
Studies of Charles University in Prague, Czech Centers
ercise book [17].
in Berlin, London, Moscow and at the Warsaw University) is required for some professions as well as for the
Another type of tool for teaching and exercising of
university studies of applicants wanting to follow the
Czech, CETLEF [18], was developed originally for
schedule valid for Czech students. e certificate con-
French students learning Czech as a second language. It
firms a particular level of knowledge of the Czech lan-
is a web-based application featuring fill-in-the-blank ex-
guage. e levels A1, A2, B1, B2, C1, C2, are defined ac-
ercises on Czech declension where the task of the learner
cording to the “Common European Framework of Ref-
is to fill an inflected form of a given word in a specific
erence for Languages: Learning, Teaching, Assessment”
syntactic context. e system represents an example of
which was created by the Council of Europe [16]. Level
a Computer Assisted Language Learning tool (CALL)
A1 means that the applicant is able to understand Czech
using some NLP (Natural Language Processing) tech-
in common everyday situations, while the level C2 qual-
niques. First, NLP is used for analyzing learner’s pro-
ifies the applicant as a person understanding Czech very
ductions in order to provide a linguistically motivated
well and speaking Czech fluently in all situations.
feedback on errors. Secondly, it enriches the pedagogi-
e development of LT is a very good and useful basis for interactive tools for teaching and especially for exercises in language education. Several tools for learning or checking language abilities in Czech were developed, some of them are closely connected with the existence of the largest annotated corpus of the Czech language – the Prague Dependency Treebank (PDT 2.0 in sequel; for details, see Chapter 3, section Core application areas).
cal environment with automatically generated linguistic annotation. e idea behind the error diagnosis is that most erroneous forms, existing or not in the language, can be reproduced artificially with a corresponding model of inflection (containing ending paradigms and contextual rules for morphological alternations). Hence they are interpretable in terms of violations of morphological categories. e diagnosis is carried out by matching the learner production with dynamically generated hypothetical word-forms. e most likely inter-
For example, the STYX system is designed as an elec-
pretations, chosen by a small number of heuristic rules,
tronic corpus-based exercise book of Czech morphol-
are used for error tagging and for the generation of the
ogy and syntax with sentences directly selected from the
feedback. CETLEF is also used as an alternative source
Prague Dependency Treebank. e exercise book offers
of learner data suitable for a research on second lan-
complex sentence processing with respect to both mor-
guage acquisition. Beside learner’s corpora containing
phological and syntactic phenomena, i. e., the exercises
mainly students’ essays, linguistic productions result-
allow students of elementary and secondary schools to
ing from grammatical exercises allows focusing on some
practice the identification of parts of speech, parsing the
more specific aspects of the target language, which can
sentences and classifying syntactic functions of words.
be an advantage for the study of acquisition of some
e STYX system includes almost 12 thousand sen-
complex systems like Czech inflection.
49
e collection of students’ errors in special corpora (so-
the CR undergoes changes characteristic for the glob-
called students’ corpora) is also a promising application
alisation of the world and it is influenced by the newly
of computers during the process of language teaching
opened possibilities of Czech scholars to have regular
and learning. e errors are classified according to their
contacts with the world of science. English has become
sources and the feedback between teachers and students
the main means of scientific communication, especially
is reflected (see also the web page of Technical Univer-
in technical and natural sciences. Humanities, esp. the
sity in Liberec [19]).
branches concerning Czech history, language and folklore, are not influenced by English so deeply. However, recently instituted governmental criteria evaluating the
3.6 INTERNATIONAL ASPECTS
results of research put strong pressure on the scientific
Czech Republic is a small country covering 78,867 km2
e discussion about the danger for a small national
community to use English.
with a small language – Czech. Aer the defeat at the
language to be lost for the process of communication
battle of White Mountain in 1620, Literary Czech was
among scholars however has arrived at the conclusion
under the danger of disappearance due to the German
that the Czech language will survive and it will serve as
pressure. However, thanks to concentrated efforts of
a means of inner communication in the science as well
Czech writers, poets, translators and teachers during
as in other communication areas such as mass-media,
the National Revival, it survived. ese efforts influ-
economy, low, industry etc.
enced the shape of Literary Czech and caused the differences between the norm of Literary Czech and the spoken variants as mentioned above in the section Gen-
3.7 CZECH ON THE INTERNET
eral Facts. However, there were established conditions
In the year 2010, almost 60% of Czechs were Inter-
for the development of rich cultural life: fiction, poems
net users. Most of them stated to be online every day.
as well as the scientific texts from different areas were written and published since the end of the 18th cen-
Among young people, the proportion of users is even
tury. Many books written in Czech were translated into foreign languages (esp. since the end of the 19th cen-
domains were registered. ese numbers give us a vague
higher. In January 2011, more than 750 thousand .cz idea of the vast amount of Czech language data available
tury). Among the most famous works of the 20th cen-
on the web.
tury were “e Good Soldier Švejk” (written by Jaroslav
For language technology, the growing importance of
Hašek in 1923 and translated into 54 languages), fic-
the Internet is important in two ways. On the one hand,
tions of Karel Čapek and Bohumil Hrabal. e Czech
the large amount of digitally available language data rep-
poet Jaroslav Seifert received the Nobel prize in liter-
resents a rich source for analysis of natural language, in
ature (1984). One of the most famous contemporary
particular by collecting statistical information. On the
writers in the world Milan Kundera, born in the CR,
other hand, the Internet offers a wide range of appli-
wrote his early books in Czech; since his emigration he
cation areas involving language technologies. e most
has published his fictions and essays in French.
commonly used web application is probably web search,
In the 19th century the Czech botanical and chemi-
which involves the automatic processing of language on
cal terminology was constituted by J. S. Presl (1791
multiple levels. It involves sophisticated language tech-
– 1849). Nowadays, the communication in science in
nology, different for each language. For Czech, every
50
language processing system must deal with rich mor-
be surprising how little from this point of view the lan-
phology, free word order and various encodings of the
guage technology actually is used in comparison with
diacritical characters or even with lack of the diacritics
the expected need. However, it becomes less surprising
(especially in blogs or web discussion platforms).
if we consider the complexity of the Czech language and
Internet users and providers of web content can also
the number of technologies involved in typical LT ap-
profit from language technologies in less obvious ways.
plications. In the next chapter, we will present an intro-
For example, it could be used to automatically translate
duction to language technology and its core application
web pages from one language into another. Considering
areas as well as an evaluation of the current situation of
the high costs associated with manual translation, it may
LT support for Czech.
51
4 LANGUAGE TECHNOLOGY SUPPORT FOR CZECH Language technology is used to develop soware sys-
a brief overview of the situation in LT research and ed-
tems designed to handle human language and are there-
ucation. Finally, we present an expert estimate of core
fore oen called “human language technology”. Human
LT tools and resources for Czech in terms of various di-
language comes in spoken and written forms. While
mensions such as availability, maturity, or quality. e
speech is the oldest and in terms of human evolution the
general situation of LT for the Czech language is sum-
most natural form of language communication, com-
marised in figure 7 (p. 66) at the end of the chapter. is
plex information and most human knowledge is stored
table lists all tools and resources that are boldfaced in
and transmitted through the written word. Speech and
the text. LT support for Czech is also compared to other
text technologies process or produce these different
languages that are part of this series.
forms of language, using dictionaries, rules of grammar, and semantics. is means that language technology (LT) links language to various forms of knowledge, independently of the media (speech or text) in which it is expressed. Figure 1 illustrates the LT landscape. When we communicate, we combine language with other modes of communication and information media – for example speaking can involve gestures and facial expressions. Digital text can contain pictures, charts, sounds, movies, etc. Movies can contain language in spoken and written form. In other words, speech and text technologies overlap and interact with other technologies that facilitate processing of multimodal communication and multimedia documents. Language technology is an established area of research
4.1 APPLICATION ARCHITECTURES Soware applications for language processing typically consist of several components that mirror different aspects of language and of the task they implement. e figure on the right displays a highly simplified architecture that can be found in a text processing system. e first three modules deal with the structure and meaning of the text input: 1. Pre-processing: cleaning up the data, removing formatting, detecting the input language, etc.
with an extensive set of introductory literature. e in-
2. Grammatical analysis: finding verb, its objects, mod-
terested reader is referred to the following references:
ifiers and other sentence elements; analyzing the sen-
[20, 21, 22, 23, 24].
tence structure.
In the rest of this section, we first describe the archi-
3. Semantic analysis: disambiguation (Which meaning
tecture of a typical LT system. Aer that, we provide
of “apple” is the right one in the given context?), re-
an overview of the core application areas, followed by
solving coreferential expressions like “she”, “the car”,
52
Speech Technologies Multimedia & Multimodality Technologies
Language Technologies
Knowledge Technologies
Text Technologies
1: Language technologies
etc.; representing the meaning of the sentence in a
information retrieval
machine-readable way
information extraction
Task-specific modules then perform many different op-
text summarization
erations such as automatic summarization of an input
question answering
text, database look-ups and many others.
speech recognition
speech synthesis
4.2 CORE APPLICATION AREAS
Below, we illustrate core application areas and high-
In the following, we will discuss the main application
light certain modules of the different architectures in
areas of language technology, i. e., language checking,
each section. For expository reasons, the architectures
web search, speech interaction, and machine transla-
are highly simplified and idealized.
tion. is includes applications and basic technologies such as
4.2.1 Language Checking e morphological and syntactic properties of Czech
spelling correction
constitute a great challenge for both spelling and gram-
authoring support
mar checking. Although the corresponding tools al-
computer-assisted language learning
ready exist for both kinds of checking (first spelling
Input Text
Pre-processing
Output
Grammatical Analysis
Semantic Analysis
Task-specific Modules
2: A typical text processing architecture
53
Statistical Language Models
Input Text
Spelling Check
Grammar Check
Correction Proposals
3: Language checking (top: statistical; bottom: rule-based)
checkers date back to early 1990’s, the development of
mine the correct form automatically theoretically re-
a first grammar checker for Microso Office took much
quires a complete analysis of the given sentence because
longer time, it has been included as late as in 2005), there
the proper case usually cannot be determined with-
are still many issues waiting for an efficient solution.
out taking into account syntax and/or verbal valency.
e existing spelling checkers for Czech are based on a
is makes a development of a sophisticated grammar
dictionary of basic word forms (lemmas) combined with
checker a challenge.
a set of morphological rules enabling the analysis or gen-
e solution implemented in Microso Word exploits
eration of all correct word forms. Although this simple
the fact that these pronouns almost exclusively directly
approach seems to be satisfactory, it has two substan-
follow a preposition. If this preposition requires using
tial drawbacks. e first issue concerns the spelling er-
only a particular case (like, e. g., the preposition k [to]),
rors which are actually correct word forms appearing in
then the correct pronominal form can be determined
a wrong context. Due to the isolated handling of indi-
with almost 100% reliability just on the basis of this lo-
vidual word forms it is virtually impossible to discover
cal context. e Autocorrect tool of MS Word thus con-
such errors; some more advanced error detection algo-
tains a simple list of such prepositions together with the
rithms would definitely be useful. e second drawback
correct pronominal form.
is the inability to distinguish between real spelling er-
is example demonstrates that a further research of
rors and word forms which are correct, but which are
similar morphological or syntactic properties may im-
missing from the dictionary. Such words will always ex-
prove the quality of a contextual spelling checker quite
ist due to the natural enhancement of a lexicon by newly
substantially.
created words, by new scientific or technical terms etc.
Czech proves to be even more difficult for grammar
e ability to capture this distinction would bring the
checking than it is for spelling checking. As a language
spelling checkers to a new level.
with a great degree of word-order freedom it makes
Some attempts to make the spelling checking more con-
it difficult to apply error pattern checking, a standard
text sensitive have already been made in the past. For
method used for languages with stricter word-order like
example, one of the most frequent errors is incorrect
English. e order of words in a Czech sentence is not
spelling of personal pronoun já [I] in the genitive, da-
completely arbitrary (for example, Czech clitics usually
tive, accusative and locative cases. While the forms dif-
occupy a fixed position in the sentence), but in some
fer in spelling (mě in genitive/accusative and mně in da-
cases it is even possible to tear apart an adjective from
tive/locative) their pronounciation is the same. ere-
a nominal group and put it almost anywhere in a given
fore, many people write them incorrectly. To deter-
sentence, like, e. g., in frequently cited examples Vánoční
54
nadešel čas [Christmas(adj.) came time / A Christmas
birthday.]
time has arrived] or Hrdliččin zval ku lásce hlas [e
[I decided to give him this book to his birthday.]
turtle-dove‘s called to loe oice / To loe called the turtledove’s oice]. Such discontinuous constructions, or nonprojective constructions, constitute a huge challenge for any grammar checker. e investigation of the Prague Dependency Treebank, a syntactically annotated corpus of Czech, shows that about 14% of sentences in the corpus contain at least one non-projective construction. is number clearly demonstrates that this phenomenon cannot be ignored. ese constructions make the grammar checking even more difficult for one more reason. e fact that a dependent word may be located very far from its governor also blurs the distinction between correct and incorrect sentences. Let us demonstrate this fact by means of the following example:
e pattern present in this example, namely the combination of a finite and infinite verb with intertwined dependent constituents, is very productive in Czech and it theoretically allows for an unlimited number of nonprojective constructions in a single clause. Although non-projective constructions constitute a great challenge for grammar checking because they make simple error-pattern based methods insufficient, they are not the only syntactic challenge in Czech. At least equally important seems to be another syntactic property of Czech – its ability to drop a subject of a subsequent sentence if it is clear from the context what the subject would be. Let us present yet another example: Sportovci házely plyšáky. [Sportsmen were throwing cuddle-bears.]
Které děvčata chtěla dostat šaty? [Which girls wanted to_get dresses?]
is sentence is syntactically incorrect in the most typical reading due to a gender disagreement between
is sentence may either be understood as a syntacti-
the subject (sportovci – masc. anim.) and the predi-
cally correct, but non-projective sentence which can be
cate (házely – fem. or masc. inanimate). e situation
translated as Which dresses did the girls want to get? or as
changes, if we change the context in the following way:
a syntactically incorrect, but projective sentence Which girls wanted to get dresses? (is reading is syntactically incorrect because of the wrong form of the interrogative pronoun Které [Which] – the proper form being Která.) To resolve this ambiguity is virtually impossi-
Dívky křičely. Sportovci házely plyšáky a rozhodčím shnilá rajčata. [Girls shouted. ey were throwing cuddle-bears to the sportsman and rotten tomatoes to referees.]
ble – non-projective constructions are an integral part
e fact that the subject may be omitted from a sentence
of the Czech language and their presence in a sentence
makes it extremely difficult for existing grammar check-
does not indicate anything unusual.
ers of Czech to discover one of the most frequent types
e syntactic complexity of non-projective construc-
of grammatical errors, the errors in subject – predicate
tions in Czech is even higher than the previous exam-
agreement. Further improvement may be achieved only
ple may suggest. A simple Czech sentence may contain
if context broader than a single sentence is involved. is
more than one such construction, as, e. g., the sentence:
constitutes a great challenge for further research. Although the first generation of spelling and grammar
Tuto knihu jsem se mu rozhodl dát k narozeninám.
checkers for Czech already exist, other language check-
[Lit.: is book I_am myself to him decided to_give to
ing tools do not. For example, in the field of authoring
55
support we face a total lack of tools. is is caused to a
all companies that were taken over by other companies
certain extent by the fact that Czech is usually a target
in the last five years”. A simple keyword-based approach
language for technical documentation of various prod-
will not take us very far here. Expanding the query terms
ucts, not a source one, and thus the need for author-
by synonyms, for example using an ontological language
ing tools is not as pressing as it is the case with more
resource like WordNet, may improve the results. How-
widely used languages. Nevertheless, the need for such
ever, for a satisfactory answer, a deeper query analysis is
tools will definitely grow in the future and thus the re-
necessary. For example, applying a syntactic parser to an-
search in the natural language processing tools in this
alyze the grammatical structure of the sentence, we can
area will be more important.
determine that the user is looking for companies that have been taken over and not companies that took over
4.2.2 Web Search
others. We also need to process the expression “last five years” to find out which years it refers to.
In the Czech Republic, there is a long tradition of using local web search engines. e most widely used web search engines are Seznam.cz, Google.com, Morfeo.cz and Jyxo.cz. erefore, the situation is rather different from other countries, where Google.com has an 80% majority. In the local market, there is enough room both for improving existing search engines through academia-industry collaboration, and for introducing a new one (especially if it would be restricted on a specific domain or specific task, e. g., question answering). To the best of our knowledge, Google’s results are considered to be the most relevant. Google started in 1998 and neither the search interface nor the presentation of the retrieved results has significantly changed since
For Czech, the sentence analysis task is rather complicated, because we must deal with rich morphology and free word order. e local search engines have already incorporated some kinds of morphological analyses into their systems, but their quality varies. Finally, the processed query needs to be matched to a massive amount of unstructured data to find the piece of information the user is looking for. is involves the retrieval and ranking of relevant documents. In addition, generating a list of companies, we also need to extract the information that a particular string of words in a document refers to a company name. is kind of information is tagged using a named-entity recognizer.
the first version. e success story of Google shows that
We face an additional challenge if we want to match
with a lot of data at hand and efficient techniques for in-
a query to documents written in a different language.
dexing these data, a mainly statistically-based approach
For multilingual search, we have to automatically trans-
can lead to satisfactory results.
late the query to all possible source languages and map
However, for a more sophisticated information need,
the retrieved information back to the target language.
integrating deeper linguistic knowledge is essential. In
Again, this requires a linguistic analysis of all texts in-
particular, if a search query consists of a question or a
volved. For users with a very specialized information
complete sentence rather than a list of keywords, retriev-
need, an expansion of the query may require additional
ing relevant answers to this query requires an analysis
knowledge resources like a domain-specific ontology,
of this question or sentence on a syntactic and seman-
representing the concepts relevant within the domain
tic level as well as the availability of an index that al-
and the relationships between those concepts.
lows for a fast retrieval of relevant documents. For ex-
e increasing share of data available in non-textual for-
ample, imagine a user inputs the query “Give me a list of
mat also drives the demand for services enabling mul-
56
Web Pages
Pre-processing
Semantic Processing
Indexing Matching & Relevance
Pre-processing
Query Analysis
User Query
Search Results
4: Web search
timedia search, i. e., information search on images, au-
dio input or very limited language domains like sport-
dio and video data. For audio and video files, this in-
ing events or parliamentary speeches. It is possible to
volves a speech recognition module to convert speech
buy a separate recognition engine with an open Me-
content into text or a phonetic representation, to which
dia Resource Control Protocol interface that allows the
user queries can be matched.
involvement of the recognition module into other applications. Companies offer applications generating off-
4.2.3 Speech Technology General recognition of spoken Czech is still in its infancy. Simple applications that work with a small vocabulary and grammar have a high reliability, because Czech does not have a complex sound system. e main problems of applications with large vocabularies and more general language models is the large number of inflection forms of words, a relatively free word order and an informal Common Czech. is prevents statistical language modelling methods to achieve results similar to English. ere are several commercial systems with large vocabularies available (SpeechTech s. r. o. [25], OptimSys, s. r. o. [26], NewtonTechnologies, a. s. [27]), but they only work in dictation systems with a high quality au-
line transcripts of multimedia archives allowing search. All these products have a relatively good configuration option, but they are not open source applications. For development of an open source recognizer of Czech, there is a lack of freely available acoustic training data, which would allow the preparation of free acoustic models for a speaker independent recognizer. Universal open source tools and libraries are available for the speech recognition, but a reliable method is still missing for the recognition of spontaneous Czech speech with all its word forms and free word order. Czech speech synthesis has several commercial voices on a good quality level (Eris [25], Acapela Group [28]), there are even open-source Czech synthetic voices, but with lower quality (Festival Czech [29], Epos TTS System
57
Speech Output
Speech Input
Speech Synthesis
Signal Processing
Phonetic Lookup & Intonation Planning
Natural Language Understanding & Dialogue
Recognition
5: Speech-based dialogue system
[30], MBROLA [31]). e speech synthesis modules
e second line of research focuses on the development
are embeddable into Interactive Voice Response sys-
of syntactic and semantic analysers of Czech with the
tems that support many open standards. To create more
help of manually annotated tree corpora of written and
open source voices we are again missing open source au-
spoken Czech. In conjunction with a morphological
dio recordings, which would allow the development of
analysis, this method should help address problems of
freely available high-quality voices. Relying on the two
free word order and of the large number of word forms.
technologies mentioned above, dialog systems are also
Current research on synthesized spoken Czech tries to
in their developmental infancy. Czech dialog systems
develop more natural voices. Hopes are placed in ad-
without restrictions are the goal of cooperative research
vanced syntactic and semantic analysis of input texts,
of several universities. Some of speech departments are
which should significantly improve the naturalness of
working on many projects in the speech field, being able
utterances.
to offer simple dialog systems, covering most of voice technology. Research on spoken Czech focuses on improving the language model. In addition to the proven method of increasing the amount of language model training data, which requires time-consuming manual transcriptions, specific procedures are explored for the Czech language.
4.2.4 Machine Translation e idea of using digital computers to translate natural languages can be traced back to 1946 and was followed by substantial funding for research during the 1950s and again in the 1980s. Yet machine translation (MT) still cannot deliver on its initial promise of providing acrossthe-board automated translation.
One line of research concentrates on conversion of spoken Czech to the formal written form, which can be processed by existing methods developed on text corpora. Apart from simple cases of replacement of suffixes of
At its basic level, Machine Translation simply substitutes words in one natural language with words in another language.
Common Czech by their literary form, the method needs to address the replacement of whole word phrases
e idea of the translation by the computers became at-
by their correct form. Eliminated in a similar manner
tractive for linguists and mathematicians in the Czech
are the other phenomena of spontaneous speech such as
Republic very soon aer the first experiments with MT
filler words, repairs or listener responses.
in the world (1954 in USA, 1955 in Soviet Union). In
58
January 1960 the first experiment with English-Czech
(or linguistic knowledge-driven) systems oen analyse
MT of several sentences by the computer of the 1st gen-
the input text and create an intermediary symbolic rep-
eration SAPO, made in earlier Czechoslovakia, was car-
resentation from which the target language text can be
ried out due to the efforts of the small research group
generated. e success of these methods is highly depen-
from Charles University and the Research Institute of
dent on the availability of extensive lexicons with mor-
Mathematical Machines. e development of the meth-
phological, syntactic, and semantic information, and
ods used in MT was continuously followed by the uni-
large sets of grammar rules carefully designed by skilled
versity linguistic research group and some experimen-
linguists. is is a very long and therefore costly process.
tal rule-based systems of English-Czech and CzechRussian MT systems were developed for the computers
For Czech, there are several commercial and academic
of 2nd generation (made in GDR and in USSR). ey
rule- and lexicon-based translation systems. One of
were domain-restricted and served mainly for a verifi-
them is based on a linguistic theory elaborated in Prague
cation of formally expressed grammatical rules. In the
since 1960s. e system follows the above mentioned
1990s a prototype of MT between closely related lan-
analysis-transfer-synthesis scenario. Despite the linguis-
guages was proposed for the pair Czech and Slovak at
tic adequacy of such approach, the system still suffers
Charles University (Česílko [32]); however, its applica-
from a number of practical difficulties, such as from
tion fails due to practical reasons (such as high costs con-
relatively high error rate of current syntactic analysers
nected with its maintenance etc.). e strategy of sta-
and from computational issues related to high num-
tistical methods or combination of statistical and rule-
ber of contextual features that should be taken into ac-
based methods was chosen as a more prospective one for
count when translating individual words. In the late
the future. e most basic approach to machine trans-
1980s when computational power increased and be-
lation is the automatic replacement of the words in a
came cheaper, interest in statistical models for machine
text written in one natural language with the equivalent
translation began to grow. Statistical models are derived
words of another language. is can be useful in sub-
from analysing bilingual text corpora, parallel corpora,
ject domains that have a very restricted, formulaic lan-
such as the Europarl parallel corpus, which contains the
guage such as weather reports (system METEO [33]).
proceedings of the European Parliament in 21 European
However, in order to produce a good translation of less
languages (Czech has been added recently and the size
restricted texts, larger text units (phrases, sentences, or
of Czech data is still orders of magnitude smaller than
even whole passages) need to be matched to their closest
for established languages.) Given enough data, statisti-
counterparts in the target language. e major difficulty
cal MT works well enough to derive an approximate
is that human language is ambiguous, which presents
meaning of a foreign language text by processing paral-
challenges on multiple levels, for example word sense
lel versions and finding plausible patterns of words. Un-
disambiguation at the lexical level or the attachment of
like knowledge-driven systems, however, statistical (or
prepositional phrases on the syntactic level.
data-driven) MT systems oen generate ungrammatical output. Data-driven MT is advantageous because
One way to build an MT system is to use linguistic
less human effort is required, and it can also cover spe-
rules. For translations between closely related languages,
cial particularities of the language (e. g., idiomatic ex-
a translation using direct substitution may be feasible in
pressions) that are oen ignored in knowledge-driven
cases such as the above example. However, rule-based
systems. Availability of large amounts of bilingual texts
59
Source Text
Text Analysis (Formatting, Morphology, Syntax, etc.)
Statistical Machine Translation
Translation Rules Target Text
Text Generation
6: Machine translation (left: statistical; right: rule-based)
is really the key in statistical MT. For Czech, corpora
combine both methodologies. One such approach uses
of parallel texts with several other languages are cur-
both knowledge-driven and data-driven systems, to-
rently being created. e largest data – in total sev-
gether with a selection module that decides on the best
eral million pairs of sentences – is available for the
output for each sentence. However, results for sentences
English-Czech language pair [34]. e corpus contains
longer than, say, 12 words, will oen be far from perfect.
for example EU law texts, newspaper texts, technical
A more effective solution is to combine the best parts of
documentation, and electronic books. e most chal-
each sentence from multiple outputs; this can be fairly
lenging problem related to the contemporary parallel
complex, as corresponding parts of multiple alternatives
corpora is the quality of alignment (pairing of cor-
are not always obvious and need to be aligned. Another,
responding parts of a text and its translation). Not
more challenging approach is to design a new setup that
only that exact word-to-word linkage is impossible due
combines the advantages of the two paradigms by in-
to differences in morphology and syntax of the two
tegrating the good features of each. For example, mak-
languages, but reliable sentence-to-sentence and some-
ing a rule-based system adaptive by adding a module for
times even document-to-document alignment is diffi-
rule learning, or, making a statistical MT system syntax-
cult to achieve too. Needless to say that compilation of
aware by adding syntactical constraints.
such corpora has to be fully automatic – human processing is completely out of question because of the data size.
Completely separate is the question of evaluating MT output quality, both manually and automatically. Expe-
Languages with rich morphology like Czech also pose
rience shows that different systems score differently un-
specific challenges for state-of-the-art statistical systems:
der various manual evaluations: rule-based systems tend
the system has to choose not only the correct word but
to preserve the meaning better while statistical systems
also the appropriate form to satisfy grammatical con-
produce output more fluent locally. In e. g., question-
text. Very few statistical systems to date can handle mor-
answering evaluation, the meaning is more important.
phological richness explicitly and thus oen fall short of
On the other hand, local fluency impacts the impression
vocabulary: all the necessary word forms are not avail-
more when the user is directly comparing system out-
able even in large parallel corpora. e strengths and
puts. Automatic evaluation (based on the comparison
weaknesses of knowledge-driven and data-driven ma-
of MT output to one or more manually constructed ref-
chine translation tend to be complementary, so that
erence translations) is vital in development of MT sys-
nowadays researchers focus on hybrid approaches that
tems. It has been shown that such automatic evaluation
60
is unreliable esp. for languages with richer morphology
noring the context. uestion answering is in turn re-
and it is also acknowledged that some automatic fine-
lated to information extraction (IE), an area that was
grained reporting on MT quality and error types would
extremely popular and influential when computational
be very useful.
linguistics took a statistical turn in the early 1990s. IE
Figure 7 (p. 24), which was prepared during the Euro-
aims to identify specific pieces of information in specific
matrix+ project, shows the pair-wise performances ob-
classes of documents, such as the key players in com-
tained for 22 of the 23 EU languages (Irish was not com-
pany takeovers as reported in newspaper stories. An-
pared).
other common scenario that has been studied is reports on terrorist incidents. e task here consists of mapping
4.3 OTHER APPLICATION AREAS
appropriate parts of the text to a template that specifies the perpetrator, target, time, location and results of the
Building language technology applications involves a
incident. Domain-specific template-filling is the central
range of subtasks that do not always surface at the level
characteristic of IE, which makes it another example
of interaction with the user, but they provide significant
of a “behind the scenes” technology that forms a well-
service functionalities “behind the scenes” of the sys-
demarcated research area, which in practice needs to be
tem in question. ey all form important research issues
embedded into a suitable application environment.
that have now evolved into individual sub-disciplines of computational linguistics. uestion answering, for example, is an active area of research for which annotated corpora have been built and scientific competitions have
Language technology applications often provide significant service functionalities behind the scenes of larger software systems.
been initiated. e concept of question answering goes beyond keyword-based searches (in which the search engine responds by delivering a collection of potentially
Text summarisation and text generation are two bor-
relevant documents) and enables users to ask a concrete
derline areas that can act either as standalone applica-
question to which the system provides a single answer.
tions or play a supporting role. Summarisation attempts
For example:
to give the essentials of a long text in a short form, and is one of the features available in Microso Word. It
Question: How old was Neil Armstrong when he
mostly uses a statistical approach to identify the “im-
stepped on the moon?
portant” words in a text (i. e., words that occur very fre-
Answer: 38.
quently in the text in question but less frequently in general language use) and determine which sentences con-
While question answering is obviously related to the
tain the most of these “important” words. ese sen-
core area of web search, it is nowadays an umbrella term
tences are then extracted and put together to create the
for such research issues as which different types of ques-
summary. In this very common commercial scenario,
tions exist, and how they should be handled; how a set
summarisation is simply a form of sentence extraction,
of documents that potentially contain the answer can
and the text is reduced to a subset of its sentences. An
be analysed and compared (do they provide conflicting
alternative approach, for which some research has been
answers?); and how specific information (the answer)
carried out, is to generate brand new sentences that do
can be reliably extracted from a document without ig-
not exist in the source text. An alternative approach, to
61
which some research is devoted, is to actually synthesize
questions about train and coach timetables, cinema and
new sentences, i. e., to build a summary of sentences that
theatre performances, about currency exchange rates,
need not show up in that form in the source text. is re-
name-days and on the Diderot Encyclopedia. For all do-
quires a certain amount of deeper understanding of the
mains UIO has an accuracy rate about 80%. A compet-
text and therefore is much less robust; furthermore, such
ing (so far no-name) system is being developed at the
an approach is to a good extent geared towards a par-
University of West Bohemia.
ticular domain or text genre, since particular knowledge
A simple conversational dialog system was developed at
is needed to perform the step of abstracting from the
the Institute of Formal and Applied Linguistics, Charles
source text to its “content”. Synthesizing a summary now
University in Prague in collaboration with the Faculty
in turn is a case of text generation – the production of
of Cybernetics at the University of West Bohemia in
new text, either from other text (as in summarization),
Pilsen and, to a lesser extent, with some other consor-
or from a set of non-textual data. is can be applied
tium partners in the FP-6 Companions project [38]. A
whenever reports are needed that describe how certain
human-like avatar converses with seniors about their re-
data streams develop over time. Such systems have been
spective personal photograph collections and life stories
built for generating weather and air quality reports, or
[39, 40, 41].
for summaries of medical diagnosis data. However, a text generator is in most cases not a stand-alone application but embedded into a larger soware environment, such as into a clinical information system where patient data is collected, stored and processed, and report generation is just one of many functionalities.
e Text-Mining Research Group at the University of West Bohemia is developing a User Profile Generation system [42]. is system performs text-mining on the documents gathered and viewed by a user. It uses the (user-approved) information to recommend particular documents on further searches as well as to estimate the
ere are many Czech research groups working on inter-
user’s expertise in a given domain. is application can
national (e. g., English) applications. Only a part of the
be used e. g., as a support of digital libraries. WebGen, a
HLT effort in the Czech Republic is dedicated partic-
similarly-named application developed at the Masaryk
ularly to Czech. ere are many NLP-components for
University in Brno (LSD lab [43]) is a dialog-based sys-
Czech, such as spell-checkers, corpora, morphological
tem that helps visually impaired people generate web
taggers and valency lexicons, along with a Czech col-
presentations in Czech. It is still in development [44].
location analyser (Word Sketch Engine for Czech, developed at the Masaryk University in Brno [36]) and a manifold research of speech recognition and generation, but not many more complex HLT applications ready to use in the industry.
e Department of Computer Graphics and Multimedia FIT BUT Faculty of Information Technology at the Brno University of Technology in Brno delivered speech-processing soware that adds semantic labels to speech transcripts (Speech Tagging, [45]). e client
To the best of our knowledge, there is just one working
side is an HTML user interface in a web browser ac-
question-answering system reported for Czech, devel-
cessing functionality provided by the server. e server
oped by researchers at the Masaryk University in Brno
enables upload and analysis of speech records. e user
– UIO (standing for the Czech “Artificial Intelligence
is able to define and manage so called “tags”, which are
of a Monkey”) [37]. UIO can ask databases and the
groups of semantically related keywords. If some key-
web. In its current version, UIO can be used for asking
word is found in some record, the record is tagged cor-
62
respondingly. is service would be useful in e. g., crisis
interviews are with Jewish Holocaust survivors, the
management, when it is suitable to classify phone calls
archive also includes the testimonies of political prison-
according to words spoken, but, to our knowledge, it has
ers, Sinti and Roma (Gypsy) survivors, Jehovah’s Wit-
not been employed in real applications yet.
ness survivors, survivors of eugenics policies, and homo-
e Faculty of Cybernetics at the University of West Bo-
sexual survivors as well as rescuers and aid providers, lib-
hemia in Pilsen has developed several speech-based ap-
erators, and participants in war crimes trials.
plications for Czech, such as a dialog system with train
e archive is accessible through an online interface,
timetables or a dialog system for students registering for
which enables the users browsing and viewing the tes-
exams on the phone (University VoiceXML informa-
timonies, deploying an index of 55 thousand keywords
tion system [46]). eir research groups run numerous
and key phrases. e access point in Prague stores more
projects aimed at assisting people with hearing impair-
than 500 testimonies in Czech, with average duration
ments, e. g., by translating between Czech and (Czech)
of 2 hours. Other testimonies have to be ordered online
sign language. Another useful application (developed in
from the other access point, which usually takes a few
Pilsen) is a voice-controlled system for dentists [47]. It
hours.
works in two modes: in the first, it reads the record of a tooth in the mouth of the patient. In the second mode, it records the information that the dentist dictates and updates the status of the given tooth. Voice-control is essential there, since the dentist is not allowed to touch either a screen or controls on a dictation device while examining the patient.
4.3.1 Miscellaneous It would be misleading to judge the NLP-HLT research of the respective countries only on the basis of how many resources and applications for their national language they have produced. In fact, there is a vicious circle in the NLP-HLT research for small languages: the grant
e research groups from the University of West Bo-
agencies as well as the government want to support only
hemia and from the Institute of Formal and Ap-
the best teams. e best teams are the ones that produce
plied Linguistics at the Charles University in Prague
the most internationally recognized publications. ese
participated in the international MALACH project
are significantly easier to achieve in research that has in-
(MALACH stands for “Multilingual Access to Large
ternational impact. While almost any improvement in
Spoken Archives” and means “messenger angel” in He-
any issue is interesting to report on big or strategic lan-
brew) [48]. ey were in charge of speech recognition
guages such as English, Chinese or Arabic, a research
and semantic indexing of testimonies recorded in Czech
with the same outcome has a grossly humbler impact
and other Slavic languages. e Charles University now
when reported on languages that are interesting only for
hosts one of the local access points to the archive of testi-
their native speakers. To produce a good publication on
monies of holocaust survivors. (Other access points are
a small language, a real breakthrough is needed, whereas,
located in the USA, Germany, Hungary, Izrael and Aus-
obviously, breakthroughs cannot be counted on to hap-
tralia)
pen regularly. Besides, even if a language-dependent re-
e nearly 52,000 videotaped testimonies of the Shoah
sult for a small language is considered a breakthrough
Foundation Institute’s Visual History Archive were
by the local research community, it is still difficult to
recorded primarily between 1994 and 1999 in 56 coun-
present to international reviewers who are not famil-
tries and in 32 languages. While the majority of the
iar with the language. Also, language-independent solu-
63
tions are generally preferred to the language-dependent
Charles University in Prague
ones, since their commercial application is cheaper. En-
Institute of Formal and Applied Linguistics (http:
glish is the natural first-choice language to experiment
//ufal.mff.cuni.cz); CL, TL, ASR; BSc, MSc, PhD.
on in the European context, as there are comprehen-
Institute of Czech National Corpus (http://ucnk.ff.
sive high-quality resources available for English. Also, the results are more easily compared within the international community. As a consequence, national teams focus on English rather than relying on research on their
cuni.cz/english/index.php); CoL; PhD.
Institute of eoretical and Computational Linguis-
tics (http://utkl.ff.cuni.cz); CL; PhD.
national language. is is to be kept in mind when as-
University of Economics in Prague
sessing the quality of national HLT/NLP research and
Department of information and knowledge engi-
development. A poor inventory of good HLT applica-
neering (http://kizi5.vse.cz/); datamining, semantic
tions and resources for a small language does not neces-
web, ontologies; BSc, MSc, PhD.
sarily imply poor research, but it can be a serious indi-
Czech Technical University in Prague
cator of lacking governmental support policy. Targeted governmental support of national-language HLT is vital for language communities whose markets are too small for national-language HLT to be endorsed by the private sector.
Department of Cybernetics (http://cyber.felk.cvut.
cz/); robotics, artificial intelligence; BSc, MSc, PhD.
Department of Circuit eory (http://noel.feld.
cvut.cz/speechlab/start.php?page=projects&lang= en#2); ASR; BSc, MSc, PhD. Masaryk University, Brno
4.4 EDUCATIONAL PROGRAMMES From the historical point of view, the terms “computational linguistics”, “natural language processing” and “speech recognition” have been used for a longer time
Natural Language Processing Centre (http://nlp.fi.
muni.cz/en/nlplab); CL, ASR.
Department of Czech Language (http://www.
muni.cz/phil/211700?lang=en); CL, TL; BSc, MSc, PhD.
than the term language technologies, at least in the con-
University of West Bohemia
text of research and education. No matter the name, the
Department of Cybernetics (http://www.kky.zcu.
disciplines related to natural language comprise a num-
cz/en); ASR; BSc, MSc, PhD.
ber of related subjects of research and education: theo-
Technical University of Liberec
retical linguistics, corpus linguistics, computer science,
Laboratory of Computer Speech Processing (https:
mathematics, machine learning etc. Below, we list Czech institutes and departments focusing on research and education in computational linguistics and language processing. e list also provides information about their core research areas (CL – computa-
//www.ite.tul.cz/speechlabe/); ASR. Brno University of Technology
Speech Processing Group (http://speech.fit.vutbr.
cz/); ASR.
tional ling., CoL – corpus ling., TL – theoretical ling.,
Natural Language Processing Research Group (http:
ASR – automatic speech recognition) and what study
//www.fit.vutbr.cz/research/groups/nlp/index.
programs they offer, if any.
php?lang=en); CL.
64
Charles University in Prague, Faculty of Mathematics
fice soware packages (such as Microso Office 2010)
and Physics is offering the European Master Program in
provide Czech spellchecking, grammar checking, some-
Language and Communication Technologies as a part
times also machine translation and automatic speech
of its MSc. study program as well as PhD program.
recognition (voice input).
anks to this activity, the Faculty can welcome stu-
Phone switchboards and help/information applications
dents from abroad who also give new impulses to their
employing automatic speech recognition are virtually
Czech colleagues.
unheard of. ere have been pilot projects with ASR by
e natural language research in the private sector is not
university teams specialized in ASR (most notably the
very common in the Czech Republic and is only repre-
University of West Bohemia in Pilsen and the Techni-
sented by small companies (e. g., Lingea, Captaworks,
cal University in Liberec) but there is no wide industrial
LangSo) and by spin-offs of university teams (e. g.,
application of such technologies.
SpeechTech – University of West Bohemia, Phonexia –
Czech speech recognition was commercialized by New-
University of Technology in Brno).
ton Technologies company – a spin-off of the Technical
e study programs the institutes offer emphase both
University in Liberec.
theory and practice. Unfortunately, a demand for such
Most of the government-originating funding programs
experts is very low in the Czech Republic.
are maintained by the Czech Science Foundation (GAČR) and focused on basic research. Recently (2009), a new Technological Agency of the Czech
4.5 NATIONAL PROJECTS AND INITIATIVES
Republic (Technologická agentura České republiky,
Industrial deployment of language technologies is not
related projects funded by TAČR yet.
TAČR) has been established, which shall focus on applied research. However, there are probably no LT-
widespread in Czechia. Businesses specialized in LT are rare. e same holds for research & development departments of larger companies. Web search engines and services (Seznam, Centrum, Google etc.) are nowadays generally capable of performing morphological analysis and lemmatization. Google offers phrase-based machine translation of web sites and user-supplied text both to and from Czech. Seznam provides online dictionaries between Czech on one side and English, German, French, Italian, Spanish or Russian on the other side. However, they don’t provide translation
4.6 AVAILABILITY OF TOOLS AND RESOURCES FOR CZECH Table 7 (p. 66) summarizes the current state of language technology support for the Czech language. e rating for existing tools and resources is based on assessments of leading experts (0 is worst, 6 is best). e key results for the Czech language are as follows:
While some specific corpora of high quality exist,
of running text.
a very large syntactically annotated corpus is not
ere are companies developing and publishing bilin-
available.
gual electronic dictionaries as Windows applications.
ere is a highly elaborated syntactically annotated
ese typically contain morphological analysis / lemma-
corpus for Czech. However, the corpus is not avail-
tization, some of them also a sort of ontology. Cell
able for free (can be bought via LDC). Several ex-
phone manufacturers can use a Czech version of T9. Of-
tending annotations (coreference, discourse etc.) are
65
Coverage
Maturity
Sustainability
Adaptability
4
3
3
4
3
Speech Synthesis
3
3
3
4
3
3
2
Grammatical analysis
4
2
4
4
3
2
4
Semantic analysis
1
1
2
2
1
2
2
Text generation
2
1
3
3
3
2
4
Machine translation
4
3
1
2
3
2
3
uality
4
Availability
3
uantity Speech Recognition
Language Technology: Tools, Technologies and Applications
Language Resources: Resources, Data and Knowledge Bases Text corpora
4
3
5
4
5
4
1
Speech corpora
4
1
4
2
3
3
2
Parallel corpora
2
4
2
3
2
2
3
Lexical resources
4
2
3
4
2
3
2
Grammars
1
1
3
2
2
1
1
7: State of language technology support for Czech being performed on top of the corpus, but they are not yet finished.
For Czech, a large text corpus exists, but it is not
available for automatic processing (only for online searching).
Semantics is more difficult than syntax; text seman-
tics is more difficult than word and sentence semantics.
ere is an ontological resource for Czech (even
mapped to other European ontological resources) but its coverage is limited.
Speech Recognition of Czech is researched at sev-
eral universities and workplaces but free tools and data are not available.
e main problems of large vocabulary speech rec-
ognizers are in specific Czech language modelling.
Many of the resources lack standardization, i. e., even
For speech synthesis, open-source packages are
if they exist, sustainability is not given; concerted
available, but more natural voices are available only
programs and initiatives are needed to standardize
in commercial applications.
data and interchange formats.
Research has been successful in designing particular
high quality soware, but it is nearly impossible to come up with sustainable and standardized solutions given the current funding situations.
Czech dialogue systems are very little used due to
poor accessibility of high quality speech recognition modules of Czech.
For the web search, there is enough room both
for improving existing popular local search engines
66
through the academia-industry collaboration, and
of advanced application areas, including high-quality
for introducing a new one.
broad-based machine translation.
To conclude, in a number of specific areas of Czech language research, we have soware with limited function-
4.8 CONCLUSIONS
ality and resources with limited scope/complexity avail-
In this series of white papers, we have made an impor-
able today, and only some of them open-source. Obvi-
tant effort by assessing the language technology support
ously, further research efforts are required to meet the
for 30 European languages, and by providing a high-
current deficits.
leel comparison across these languages. By identifying the gaps, needs and deficits, the European language technology community and its related stakeholders are now
4.7 CROSS-LANGUAGE COMPARISON
in a position to design a large scale research and devel-
e current state of LT support varies considerably from
e results of this white paper series show that there is a
one language community to another. In order to com-
dramatic difference in language technology support be-
pare the situation between languages, this section will
tween the various European languages. While there are
present an evaluation based on two sample application
good quality soware and resources available for some
areas (machine translation and speech processing) and
languages and application areas, others, usually smaller
one underlying technology (text analysis), as well as ba-
languages, have substantial gaps. Many languages lack
sic resources needed for building LT applications.
basic technologies for text analysis and the essential re-
e above tables show that LT resources and tools for
sources. Others have basic tools and resources but the
Czech clearly do not yet reach the quality and cover-
implementation of for example semantic methods is still
age of comparable resources and tools for the English
far away. erefore a large-scale effort is needed to attain
language and some other ‘larger’ languages in EU. And
the ambitious goal of providing high-quality language
there are still plenty of gaps in English language re-
technology support for all European languages, for ex-
sources with regard to high quality applications.
ample through high quality machine translation. In the
Today’s text analysis components and language re-
case of the Czech language, we can be cautiously opti-
sources cover the linguistic phenomena of Czech only
mistic about the current state of language technology
to a certain extent; they mostly form part of appli-
support. ere is a viable LT research community in the
cations involving shallow natural language processing,
Czech Republic, which has been supported in the past
e. g., spelling correction.
by various research programs. A number of resources
However, for building more sophisticated applications,
and technologies have been produced for Czech. How-
such as machine translation, there is a clear need for re-
ever, the scope of the resources and the range of tools are
sources and technologies that cover a wider range of lin-
still very limited when compared to the resources and
guistic aspects and allow a deep semantic analysis of
tools for the English language, and they are simply not
the input text. By improving the quality and coverage of
sufficient in quality and quantity to develop the kind
these basic resources and technologies, we shall be able
of technologies required to support a truly multilingual
to open up new opportunities for tackling a vast range
knowledge society.
opment programme aimed at building a truly multilingual, technology-enabled communication across Europe.
67
Nor can we simply transfer technologies already devel-
the extreme complexity of language technology systems
oped and optimized for the English language to han-
makes it vital to develop a new infrastructure and a more
dle Czech. English-based systems for parsing (syntactic
coherent research organization to spur greater sharing
and grammatical analysis of sentence structure) typi-
and cooperation. Finally there is a lack of continuity
cally perform far less well on Czech texts, due to the spe-
in research and development funding. Short-term co-
cific characteristics of the Czech language.
ordinated programmes tend to alternate with periods
e Czech language technology industry dedicated to
of sparse or zero funding. In addition, there is an over-
transforming research into products is currently frag-
all lack of coordination with programmes in other EU
mented and disorganized. Most large companies have
countries and at the European Commission level.
either stopped or severely cut their LT efforts, leaving
e long term goal of META-NET is to enable the cre-
the field to a number of specialized SMEs that are not ro-
ation of high-quality language technology for all lan-
bust enough to address the internal and the global mar-
guages. is requires all stakeholders – in politics, re-
ket with a sustained strategy.
search, business, and society – to unite their efforts.
Our findings show that the only alternative is to make
e resulting technology will help tear down existing
a substantial effort to create LT resources for Czech,
barriers and build bridges between Europe’s languages,
and use them to drive forward research, innovation and
paving the way for political and economic unity through
development. e need for large amounts of data and
cultural diversity.
68
Excellent support
Good support English
Moderate support Czech Dutch Finnish French German Italian Portuguese Spanish
Fragmentary support Basque Bulgarian Catalan Danish Estonian Galician Greek Hungarian Irish Norwegian Polish Serbian Slovak Slovene Swedish
Weak/no support Croatian Icelandic Latvian Lithuanian Maltese Romanian
8: Speech processing: state of language technology support for 30 European languages
Excellent support
Good support English
Moderate support French Spanish
Fragmentary support Catalan Dutch German Hungarian Italian Polish Romanian
Weak/no support Basque Bulgarian Croatian Czech Danish Estonian Finnish Galician Greek Icelandic Irish Latvian Lithuanian Maltese Norwegian Portuguese Serbian Slovak Slovene Swedish
9: Machine translation: state of language technology support for 30 European languages
69
Excellent support
Good support English
Moderate support Dutch French German Italian Spanish
Fragmentary support Basque Bulgarian Catalan Czech Danish Finnish Galician Greek Hungarian Norwegian Polish Portuguese Romanian Slovak Slovene Swedish
Weak/no support Croatian Estonian Icelandic Irish Latvian Lithuanian Maltese Serbian
10: Text analysis: state of language technology support for 30 European languages
Excellent support
Good support English
Moderate support Czech Dutch French German Hungarian Italian Polish Spanish Swedish
Fragmentary support Basque Bulgarian Catalan Croatian Danish Estonian Finnish Galician Greek Norwegian Portuguese Romanian Serbian Slovak Slovene
Weak/no support Icelandic Irish Latvian Lithuanian Maltese
11: Speech and text resources: State of support for 30 European languages
70
5 ABOUT META-NET META-NET is a Network of Excellence partially
sion and a common strategic research agenda (SRA).
funded by the European Commission. e network cur-
e main focus of this activity is to build a coherent
rently consists of 54 research centres in 33 European
and cohesive LT community in Europe by bringing to-
countries [49]. META-NET forges META, the Multi-
gether representatives from highly fragmented and di-
lingual Europe Technology Alliance, a growing commu-
verse groups of stakeholders. e present White Paper
nity of language technology professionals and organisa-
was prepared together with volumes for 29 other lan-
tions in Europe. META-NET fosters the technological
guages. e shared technology vision was developed in
foundations for a truly multilingual European informa-
three sectorial Vision Groups. e META Technology
tion society that:
Council was established in order to discuss and to pre-
makes communication and cooperation possible
across languages;
grants all Europeans equal access to information and
knowledge regardless of their language;
builds upon and advances functionalities of net-
worked information technology.
pare the SRA based on the vision in close interaction with the entire LT community. META-SHARE creates an open, distributed facility for exchanging and sharing resources. e peer-to-peer network of repositories will contain language data, tools and web services that are documented with highquality metadata and organised in standardised cate-
e network supports a Europe that unites as a sin-
gories. e resources can be readily accessed and uni-
gle digital market and information space. It stimulates
formly searched. e available resources include free,
and promotes multilingual technologies for all Euro-
open source materials as well as restricted, commercially
pean languages. ese technologies support automatic
available, fee-based items.
translation, content production, information process-
META-RESEARCH builds bridges to related technol-
ing and knowledge management for a wide variety of
ogy fields. is activity seeks to leverage advances in
subject domains and applications. ey also enable in-
other fields and to capitalise on innovative research that
tuitive language-based interfaces to technology ranging
can benefit language technology. In particular, the ac-
from household electronics, machinery and vehicles to
tion line focuses on conducting leading-edge research in
computers and robots. Launched on 1 February 2010,
machine translation, collecting data, preparing data sets
META-NET has already conducted various activities in
and organising language resources for evaluation pur-
three lines of action.
poses; compiling inventories of tools and methods; and
META-VISION fosters a dynamic and influential
organising workshops and training events for members
stakeholder community that unites around a shared vi-
of the community.
offi
[email protected] – http://www.meta-net.eu
71
A ODKAZY REFERENCES [1] Aljoscha Burchardt, Markus Egg, Kathrin Eichler, Brigitte Krenn, Jörn Kreutel, Annette Leßmöllmann, Georg Rehm, Manfred Stede, Hans Uszkoreit, and Martin Volk. Die Deutsche Sprache im Digitalen Zeitalter – Němčina v digitálním věku. META-NET White Paper Series. Georg Rehm and Hans Uszkoreit (Series Editors). Springer, 2012. [2] Aljoscha Burchardt, Georg Rehm, and Felix Sasaki. e Future European Multilingual Information Society – Vision Paper for a Strategic Research Agenda (Budoucí evropská vícejazyčná informační společnost – příspěvek o vizi pro agendu strategického výzkumu), 2011. http://www.meta-net.eu/vision/reports/ meta-net-vision-paper.pdf. [3] Directorate-General Information Society & Media of the European Commission (Generální ředitelství pro informační společnost a média při Evropské komisi). User Language Preferences Online ( Jazykové preference uživatelů), 2011. http://ec.europa.eu/public_opinion/flash/fl_313_en.pdf. [4] European Comission (Evropská komise). Multilingualism: an Asset for Europe and a Shared Commitment (Vícejazyčnost: Přínosy pro Evropu a sdílené závazky), 2008. http://ec.europa.eu/languages/pdf/ comm2008_en.pdf. [5] Directorate-General of the UNESCO (Generální ředitelství UNESCO). Intersectoral Mid-term Strategy on Languages and Multilingualism (Mezioborová střednědobá strategie nad jazyky a vícejazyčností), 2007. http://unesdoc.unesco.org/images/0015/001503/150335e.pdf. [6] Directorate-General for Translation of the European Commission (Generální ředitelství pro překlady při Evropské komisi). Size of the Language Industry in the EU (Velikost jazykového průmyslu v Evropské unii), 2009. http://ec.europa.eu/dgs/translation/publications/studies. [7] Počet občanů ČR byl v polovině roku 2010 10,5 milionu (podle Českého statistického úřadu). (e number of citizen in CR was in the middle of 2010 10.5 million (according the Czech Statistical Office).). [8] Český jazyk (Czech language). http://www.czech-language/overview. [9] Jazyky světa (Language of the World). http://www.ethnologue.org. [10] Kontext pro př. (5) je představení nové služby pro rodiče: mohou požádat o taxi s chůvou, která se postará o dítě. (e context for ex. (5) is introducing the new service for parents: ey can ask for a taxi with a nun, which takes care of a child.).
73
[11] Česká wikipedia (Czech wikipedia). http//cs.wikipedia.org. [12] Olga Martincová. Neologizmy v dnešní češtině (Neologisms in present day Czech). Praha: Academia, 1998, 2004, 2005. [13] Anna Černá, Ivana Svobodová, Josef Šimandl, and Ludmila Uhlířová. Na co se nás často ptáte – Ze zkušeností jazykové poradny (What are you asking us oen – An experience om department of language culture). Praha: Scientia, 2002. [14] Ladislav Janovec, Lucie Bušová, Adéla Říhová, and Markéta Šamalová. Na co se nás často ptáte – Jak používat čárku a další interpunkční znaménka (What are you asking us oen – How to use a comma and other punctuation marks). Praha: Klett, 2006. [15] Internetová jazyková příručka (Czech grammar online). http://prirucka.ujc.cas.cz/. [16] Společný evropský referenční rámec pro jazyky: učení, výuka, hodnocení (Common European Framework of Reference for Languages: Learning, Teaching, Assessment). http://www.coe.int/t/dg4/linguistic/CADRE_ EN.asp#TopOfPage. [17] Elektronická cvičebnice českého tvarosloví a syntaxe STYX (An exercise book of Czech morphology and syntax). http://ufal.mff.cuni.cz/styx. [18] CETLEF je francouzský akronym pro Vyhledávání a opravu chyb v češtině pro francouzské studenty. (CETLEF is a French acronym for Understanding and Correction of Errors in Czech as a Foreign Language for French Learners.). http://wwww.cetlef.fr. [19] Inovace vzdělávání v oboru čeština jako druhý jazyk (Innovation in Education in the Field of Czech as a Second Language ). http://www.c2j.cz. [20] Kai-Uwe Carstensen, Christian Ebert, Cornelia Ebert, Susanne Jekat, Hagen Langer, and Ralf Klabunde, editors. Computerlinguistik und Sprachtechnologie: Eine Einführung (Komputační lingistika a jazykové technologie: Úod). Spektrum Akademischer Verlag, 2009. [21] Daniel Jurafsky and James H. Martin. Speech and Language Processing (Zpracování mluené řeči a jazyka). Prentice Hall, 2nd edition, 2009. [22] Christopher D. Manning and Hinrich Schütze. Foundations of Statistical Natural Language Processing (Základy statistického zpracování přirozeného jazyka). MIT Press, 1999. [23] Language Technology World (Svět jazykových technologií). http://www.lt-world.org. [24] Ronald Cole, Joseph Mariani, Hans Uszkoreit, Giovanni Battista Varile, Annie Zaenen, and Antonio Zampolli, editors. Survey of the State of the Art in Human Language Technology (Přehled současného stavu jazykových technologií). Cambridge University Press, 1998.
74
[25] SpeechTech, s.r.o. (SpeechTech Ltd.). http://www.speechtech.cz. [26] OptimSys, s.r.o. (OptimSys Ltd.). http://www.optimsys.com. [27] NewtonDictate. http://www.diktovani.cz. [28] Acapela Group. http://www.acapela-group.com. [29] Free(b)so Laboratory project. http://devel.freebsoft.org/festival-czech. [30] Systém pro syntézu řeči z psaného textu (e Epos Speech Synthesis System). http://epos.ure.cas.cz. [31] e MBROLA Project. http://tcts.fpms.ac.be/synthesis/mbrola.html. [32] Česko-slovenský překladový system (Czech-Slovak translation system). http://quest.ms.mff.cuni.cz/cesilko. [33] Systém METEO (METEO system). http://en.wikipedia.org/wiki/METEO_System. [34] Česko-anglický paralelní korpus (Czech-English Parallel Corpus). http://ufal.mff.cuni.cz/czeng. [35] Philipp Koehn, Alexandra Birch, and Ralf Steinberger. 462 Machine Translation Systems for Europe (462 systémů strojového překladu pro Evropu). In Proceedings of MT Summit XII, 2009. [36] Aleš Horák, Pavel Rychlý, and Adam Kilgarriff. Czech Word Sketch Relations with Full Syntax Parser (Vztahy ze syntaktického parseru v systému českého Word Sketch), pages 101–112. Brno, Czech Republic: Masaryk University, 2009. [37] Lukáš Svoboda. UIO, a dialog system for question answering (UIO, dialogový systém pro zodpovídání otázek). In Vojtěch Svátek, editor, Proceedings of Znalosti 2003, 2003. [38] Projekt Companions (Companions project). http://www.companions-project.org. [39] Jan Ptáček, Pavel Ircing, Miroslav Spousta, Jan Romportl, Zdeněk Loose, Silvie Cinková, José Relaño Gil, and Raúl Santos. Integration of Speech and Text Processing Modules into a Real-Time Dialogue System (Dialogový systém Senior Companion a jeho jazykové moduly). In Text, Speech and Dialogue, Proceedings of the 13th International Conference TSD 2010, Lecture Notes in Artificial Intelligence, volume 6231, pages 552–559. Springer, Berlin-Heidelberg, Germany, 2010. [40] Jan Romportl, Enrico Zovato, Raúl Santos, Pavel Ircing, José Relaño Gil, and Morena Danieli. Application of Expressive TTS synthesis in an Advanced ECA System (Aplikace syntézy ’text-to-speech’ v pokročilých systémech ECA). In Proceedings of the ISCA Tutorial and Research Workshop on Speech Synthesis, pages 120–125, 2010. [41] Martin Gruber and Daniel Tihelka. Expressive Speech Synthesis for Czech Limited Domain Dialogue System – Basic Experiments (Analýza mluvené řeči pro český dialogový systém s omezenou doménou – základní experimenty). In Proceedings of the 10th International Conference on Signal Processing, ICSP, volume 1, 2010.
75
[42] Petr Grolmus, Jiří Hynek, and Karel Ježek. User Profile Identification Based on Text Mining (Identifikace uživatelských profilů na základě informací z textu). In Proceedings of the 6th International Conference on Information Systems Implementation and Modelling – ISIM ‘03, pages 109–116, 2003. [43] Projekt WebGen (Project WebGen). http://lsd.fi.muni.cz/webgen/index.php?page=uvod&lang=en. [44] Luděk Bártek and Jaromír Plhák. Visually Impaired Users Create Web Pages (Zrakově postižení uživatelé vytvářejí webové stránky). In Proceedings of the 11th International Conference on Computers Helping People with Special Needs, volume 5105, pages 466–473, 2008. [45] Pavel Smrž, Marek Schmidt, Jiří Zuzaňák, Bronislav Přibyl, Jan Navrátil, Aleš Láník, Lukáš Burget, Tomáš Cipr, Michal Fapšo, Ondřej Glembek, František Grézl, Kamil Chalupníček, Martin Karafiát, Pavel Matějka, Petr Schwarz, and Igor Szőke. Speech Tagging (Tagování mluené řeči). Soware, 2010. http://www.fit.vutbr. cz/research/view_product.php?id=157¬itle=1. [46] Hlasové aplikace na ZČU (Voice applications at the University of West Bohemia). http://voice.zcu.cz. [47] Miroslav Nagy, Petr Hanzlíček, Jana Zvárová, Tatjana Dostálová, Michaela Seydlová M., Radim Hippman, Lubos Šmidl, Jan Trmal Josef, and Psutka. Voice-controlled data entry in dental electronic health record (Hlasem ovládáné vstupy v dentálním elektronickém zdravotním záznamu). In eHealth Beyond the Horizon – Get IT ere:Proceedings of MIE2008, pages 529–534. IOS Press, Göteborg, 2008. [48] Josef Psutka, Pavel Ircing, Josef V. Psutka, Jan Hajič, William J. Byrne, and Jirí Mírovský. Automatic transcription of Czech, Russian, and Slovak Spontaneous Speech in the MALACH Project (Automatický přepis české, ruské a slovenské mluvené řeči v projektu MALACH). In Proceedings of Eurospeech 2005, Lisboa, Portugal, pages 1349–1352, 2005. [49] Georg Rehm and Hans Uszkoreit. Multilingual Europe: A challenge for language tech (vícejazyčná Evropa: Výzva pro jazykové technologie). MultiLingual, 22(3):51–52, April/May 2011.
76
B ČLENOVÉ META-NET META-NET MEMBERS Belgie
Belgium
Computational Linguistics and Psycholinguistics Research Centre, University of Antwerp: Walter Daelemans Centre for Processing Speech and Images, University of Leuven: Dirk van Compernolle
Bulharsko
Bulgaria
Institute for Bulgarian Language, Bulgarian Academy of Sciences: Svetla Koeva
Česká republika
Czech Republic
Institute of Formal and Applied Linguistics, Charles University in Prague: Jan Hajič
Dánsko
Denmark
Centre for Language Technology, University of Copenhagen: Bolette Sandford Pedersen, Bente Maegaard
Estonsko
Estonia
Institute of Computer Science, University of Tartu: Tiit Roosmaa, Kadri Vider
Finsko
Finland
Computational Cognitive Systems Research Group, Aalto University: Timo Honkela Department of Modern Languages, University of Helsinki: Kimmo Koskenniemi, Krister Lindén
Francie
France
Centre National de la Recherche Scientifique, Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur and Institute for Multilingual and Multimedia Information: Joseph Mariani Evaluations and Language Resources Distribution Agency: Khalid Choukri
Chorvatsko
Croatia
Institute of Linguistics, Faculty of Humanities and Social Science, University of Zagreb: Marko Tadić
Irsko
Ireland
School of Computing, Dublin City University: Josef van Genabith
Island
Iceland
School of Humanities, University of Iceland: Eiríkur Rögnvaldsson
Itálie
Italy
Consiglio Nazionale delle Ricerche, Istituto di Linguistica Computazionale “Antonio Zampolli”: Nicoletta Calzolari Human Language Technology Research Unit, Fondazione Bruno Kessler: Bernardo Magnini
Kypr
Cyprus
Language Centre, School of Humanities: Jack Burston
Litva
Lithuania
Institute of the Lithuanian Language: Jolanta Zabarskaitė
Lotyšsko
Latvia
Tilde: Andrejs Vasiļjevs Institute of Mathematics and Computer Science, University of Latvia: Inguna Skadiņa
Lucembursko
Luxembourg
Arax Ltd.: Vartkes Goetcherian
Maďarsko
Hungary
Research Institute for Linguistics, Hungarian Academy of Sciences: Tamás Váradi
77
Department of Telecommunications and Media Informatics, Budapest University of Technology and Economics: Géza Németh, Gábor Olaszy Malta
Malta
Department Intelligent Computer Systems, University of Malta: Mike Rosner
Německo
Germany
Language Technology Lab, DFKI: Hans Uszkoreit, Georg Rehm Human Language Technology and Pattern Recognition, RWTH Aachen University: Hermann Ney Department of Computational Linguistics, Saarland University: Manfred Pinkal
Nizozemí
Netherlands
Utrecht Institute of Linguistics, Utrecht University: Jan Odijk Computational Linguistics, University of Groningen: Gertjan van Noord
Norsko
Norway
Department of Linguistic, Literary and Aesthetic Studies, University of Bergen: Koenraad De Smedt Department of Informatics, Language Technology Group, University of Oslo: Stephan Oepen
Polsko
Poland
Institute of Computer Science, Polish Academy of Sciences: Adam Przepiórkowski, Maciej Ogrodniczuk University of Łódź: Barbara Lewandowska-Tomaszczyk, Piotr Pęzik Department of Computer Linguistics and Artificial Intelligence, Adam Mickiewicz University: Zygmunt Vetulani
Portugalsko
Portugal
University of Lisbon: António Branco, Amália Mendes Spoken Language Systems Laboratory, Institute for Systems Engineering and Computers: Isabel Trancoso
Rakousko
Austria
Zentrum für Translationswissenscha, Universität Wien: Gerhard Budin
Rumunsko
Romania
Research Institute for Artificial Intelligence, Romanian Academy of Sciences: Dan Tufiș Faculty of Computer Science, University Alexandru Ioan Cuza of Iași: Dan Cristea
Řecko
Greece
R.C. “Athena”, Institute for Language and Speech Processing: Stelios Piperidis
Slovensko
Slovakia
Ľudovít Štúr Institute of Linguistics, Slovak Academy of Sciences: Radovan Garabík
Slovinsko
Slovenia
Jožef Stefan Institute: Marko Grobelnik
Velké Británie
UK
School of Computer Science, University of Manchester: Sophia Ananiadou Institute for Language, Cognition and Computation, Center for Speech Technology Research, University of Edinburgh: Steve Renals Research Institute of Informatics and Language Processing, University of Wolverhampton: Ruslan Mitkov
Srbsko
Serbia
University of Belgrade, Faculty of Mathematics: Duško Vitas, Cvetana Krstev, Ivan Obradović
78
Pupin Institute: Sanja Vraneš Španělsko
Spain
Barcelona Media: Toni Badia, Maite Melero Institut Universitari de Lingüística Aplicada, Universitat Pompeu Fabra: Núria Bel Aholab Signal Processing Laboratory, University of the Basque Country: Inma Hernaez Rioja Center for Language and Speech Technologies and Applications, Universitat Politècnica de Catalunya: Asunción Moreno Department of Signal Processing and Communications, University of Vigo: Carmen García Mateo
Švédsko
Sweden
Department of Swedish, University of Gothenburg: Lars Borin
Švýcarsko
Switzerland
Idiap Research Institute: Hervé Bourlard
Téměř 100 odborníků na jazykové technologie – zástupci zemí a jazyků zastoupených v projektu META-NET – prodiskutovali a zformulovali klíčové výsledky a závěry Série Bílé knihy na zasedání projektu META-NET v Berlíně v Německu ve dnech 21.–22. října 2011. — About 100 language technology experts – representatives of the countries and languages represented in META-NET – discussed and finalised the key results and messages of the White Paper Series at a META-NET meeting in Berlin, Germany, on October 21/22, 2011.
79
C SÉRIE BÍLÉ KNIHY THE META-NET META-NET WHITE PAPER SERIES Angličtina
English
English
Baskičtina
Basque
euskara
Bulharština
Bulgarian
български
Čeština
Czech
čeština
Dánština
Danish
dansk
Estonština
Estonian
eesti
Finština
Finnish
suomi
Francouzština
French
français
Galicijština
Galician
galego
Holandština
Dutch
Nederlands
Chorvatština
Croatian
hrvatski
Irština
Irish
Gaeilge
Islandština
Icelandic
íslenska
Italština
Italian
italiano
Katalánština
Catalan
català
Litevština
Lithuanian
lietuvių kalba
Lotyština
Latvian
latviešu valoda
Maďarština
Hungarian
magyar
Maltština
Maltese
Malti
Němčina
German
Deutsch
Norština Bokmål
Norwegian Bokmål
bokmål
Norština Nynorsk
Norwegian Nynorsk
nynorsk
Polština
Polish
polski
Portugalština
Portuguese
português
Rumunština
Romanian
română
Řečtina
Greek
εηνικά
Slovenština
Slovak
slovenčina
Slovinština
Slovene
slovenščina
Srbština
Serbian
српски
Španělština
Spanish
español
Švédština
Swedish
svenska
81
