Text-to-Speech for Under-Resourced Languages:
Phoneme Mapping and Source Language Selection in Transfer Learning

Phat Do1, Matt Coler1, Jelske Dijkstra2, Esther Klabbers3
1Language, Technology and Culture Department, Campus Fryslân, University of Groningen (Leeuwarden, the Netherlands)
2Fryske Akademy/Mercator Research Centre (Leeuwarden, the Netherlands)
3ReadSpeaker (Driebergen-Rijsenburg, the Netherlands)

This is the companion webpage for our paper about new proposed strategies in cross-lingual transfer learning for text-to-speech for low-resource scenarios, which has been accepted by and presented at the 1st Annual Meeting of the ELRA/ISCA Special Interest Group on Under-Resourced Languages (SIGUL 2022).

Below we present all the audio samples synthesized in our experiment: 1) Frisian sentences used in the listening experiment, and 2) source language sentences (from the pre-trained models that were used for transfer learning). Results from the listening test that we conducted for the paper can be found at this Google Drive link.

1) Frisian sentences

We used a total of 20 sentences, divided equally into 5 sets. Each participant was randomly assigned 1 out of these 5 sets. Each set is guaranteed to contain all Frisian phonemes and has a phoneme distribution as close as possible to the Frisian dataset. (*)

# Text Resynthesized Dutch (nl) Finnish (fi) French (fr) Spanish (es) Japanese (ja)
Separate Mapped Separate Mapped Separate Mapped Separate Mapped Separate Mapped
1 Wylst ik út alle macht besocht om mysels yn 'e stokken te hâlden, fûillearre er my oerflakkich.
2 Hiel natuerlik pakte ik de grize mei goudopdruk út 'e kast, want dêr sit ús skoaltiid yn.
3 Nuver, sei ik. Moarn hellet Arjen him op, dan sjogge wy wol fierder.
4 Op in bepaald stuit fernielden se in pear fytsen. En dêr sei Abele wat fan.
5 Mar dat is net hár fertsjinste, as jo dat mar witte. Mei de goeie man trouwe, sa hat se dat flikt.
6 Want op dy side kin in reaguersel achterlitten wurde en dat waard dan ek massaal dien.
7 Fernuvere gluorke Jan Eekma om it hoekje, mar hy sei gjin sprek.
8 Op in bepaald stuit hold er it net mear en belle er Lotte.
9 Sa gau as it út it sicht rekke, twifele ik.
10 Ik seach har fan 'e moarn noch. Op it boartersplak by it plantsoen yn de Wetterbuert.
11 Mar ik hie it net oan tiid om my deroer te fernuverjen, want dêr kaam jim heit al mei dy Adri oansetten.
12 Adri? Ik miende dat er Sjon hiet, sei ik ferstuivere.
13 Conradi skuort in pypke molkepoeier iepen en stoarret betochtsum nei it rierende plestik leppeltsje.
14 Dochs net op ús buertwein? Ik fyn it al sa sjenant.
15 Achternei fernuvere ik my oer it gemak dêr't it mei gie; it is in wûnder dat net mear bern op dy manier nadere wurde.
16 O ja, dat hie 'k noch net sein. It hûs is al ynrjochte, sa't jo sjogge. Allegearre fan frou Hogerhuis, seit de boer.
17 It fêstsitten groeit út ta in probleem dat te grut foar dyn tinken is.
18 It wie de toan dy't mear sei as de wurden sels, want prate diene wy allegeduerigen.
19 Sa liet er Faust kear op kear syn siel oan de duvel ferkeapje, ...
20 Har man hie grif in rare stuiter makke, en dat fan it húske soe wol klopje kinne as ik syn wiete broek sa seach.

2) Source language sentences

Here we present the test sentences that were used to verify if the source language models were successfully trained. For each language, we used the 20-sentence set of test sentences used by the original authors to test the CSS10 dataset.

Dutch (nl)

# Text Audio Text Audio Text Audio Text Audio
1-4 Ik heb vandaag een ster gezien. Iedereen was verwonderd dat hij geslaagd was in het rijexamen. Muziek beluisteren doe ik graag, en muziek spelen nog liever. Op twee juli ontving ik het bericht dat mijn bestelling is verzonden.
5-8 Kan jij paardrijden? Een thee met citroen, alstublieft. Dit boek is niet van mij, maar van mijn broer. Ik kan de vergadering niet bijwonen.
9-12 Deze zin eindigt met een uitroepteken! Kun je me laten zien hoe je deze camera gebruikt? Vind je zijn liedjes leuk? Hier blijven is nergens voor nodig.
13-16 Heb je ooit zwemmend een rivier overgestoken? Het sieraad van de haan is de kam. Men kan de tweelingbroers niet onderscheiden. Op het moment kan ik over dat probleem geen mededelingen doen.
17-20 Waarom is ze gisteren niet gekomen? Ze ging van de trap naar beneden. Onze excuses voor de onderbreking. Als we hier stoppen, moeten we helemaal opnieuw van nul beginnen!

Finnish (fi)

# Text Audio Text Audio Text Audio Text Audio
1-4 No, minä otan vain paahtoleivän ja kahvin. Olen kuullut sen laulun laulettuna ranskaksi. Vauva on jatkanut itkemistään jo lähes kymmenen minuuttia. On joitakin tärkeitä kysymyksiä, joihin tiede ei osaa vastata.
5-8 Sinulla ei ole mitään sanottavaa siitä, vai? Hyvää matkaa! Jos et tuntenut minua tällä tavalla, et yksinkertaisesti tuntenut minua. Minä tein töitä eilen koko päivän.
9-12 Bussia odottaessani tapasin ystäväni. Kuinka monta meistä oli siellä? Pidetään teetauko jossain siellä. Juna Cambridgeen lähtee laiturilta viisi.
13-16 Tomi soittaa bassoa rokkibändissä. En ole profeetta. Mikä hameista on sinulle mieleinen? Kevät on puidenistutusaika.
17-20 Kuinka monta kirjaa olet tähän mennessä lukenut tänä kesänä? En ole koskaan aikaisemmin maistanut mangoa. Tiesitkö, että keskustelu on yksi suurimmista ihmiselon iloista? Jos mietit hieman, niin huomaat, että koko suunnitelma ei tule kysymykseenkään.

French (fr)

# Text Audio Text Audio Text Audio Text Audio
1-4 Il est revenu en août dernier. Jusqu'où allons-nous? Je ne suis pas bonne en français. La facture de téléphone était très élevée ce mois-ci.
5-8 En Allemagne nous avons toujours payé avec des chèques de voyage. Il gagne plus de cinq cents dollars par mois avec ce travail. Qu'avez-vous oublié ici? Voulez-vous apprendre les sciences avec facilité?
9-12 Puis-je appuyer sur le bouton? La machine à laver fut l'une des plus grandes inventions de tous les temps. Versez-moi encore un peu de vin s'il vous plaît! Il n'y a pas tant de synagogues dans cette ville.
13-16 Comment dit-on "s'il vous plaît" en wolof? Mon hôtesse me laissa en proie à des pensées vagues et ténébreuses. Le soir il se promenait sur la montagne, dans les ruines du château. J'emportai le testament; et, quand il fut ouvert, je vis que madame de Merret m'avait nommé son exécuteur testamentaire.
17-20 Appelle tes sœurs. C'est en découvrant des représentations de notre bon Dieu chargé d'ans sous forme d'un aïeul chauve que j'ai perdu toute foi, même en les plus efficaces des produits capillaires. Ces crêpes sont vraiment délicieuses. Vous plaisantez, bien sûr.

Spanish (es)

# Text Audio Text Audio Text Audio Text Audio
1-4 ¡En mi mesa no! No te puedes ir a casa hasta las dos y media. ¿Hay otros universos fuera del nuestro? Mi mamá le compró un paraguas amarillo a mi hermano.
5-8 ¿Cuándo fue la última vez que trazaste un plano? Si el trabajo tiene que estar terminado antes de junio, más gente tendrá que esforzarse más. La garrafa explotó de repente. ¡Qué vista más bella!
9-12 Su técnica es excelente, pero ella necesita tocar con más expresión. Leer libros en la interlengua le permite ampliar el vocabulario y el dominio del lenguaje. Nunca sabés cuándo vas a tener suerte. No dejes al niño jugar con el cuchillo.
13-16 En el campo hay más quietud que en la ciudad. No puedo olvidar el día que nos conocimos. Todo lo que debes hacer es memorizar esta frase. Me la encontré de casualidad en la parada del autobús.
17-20 ¿Cuántos turistas visitan este templo? Es difícil trabajar junto con personas que no quieren. Me topé con un viejo amigo. El monóxido de carbono es una sustancia venenosa formada a partir de la combustión incompleta de compuestos de carbono.

Japanese (ja)

# Text Audio Text Audio Text Audio Text Audio
1-4 彼は木の伐採をしている。 事故がちょうど今起こったところだ。 彼女は本を読まなかった。 １９００年に彼はイギリスを去り、そのまま二度と戻らなかった。
5-8 それは大変価値がある。 新聞が書いていることは本当だ。 彼は自分の経験を誇張していった。 このあたりは見どころがいっぱいです。
9-12 いつも学校に遅れるのはどういう訳だ。 少なくとも２マイルは歩けます。 この部へ屋やのどこかに隠かくれていることは分わかっているぞ。 彼らは庭で昼食をとっている。
13-16 質問の全てに答えなければなりませんか。 後にも先にもこんな話を聞いたことがない。 彼が話し終わるとみんな黙っていた。 この靴どこで買ったの？
17-20 両親は私にそこへ行かせた。 私は外国にたくさんの友達がいます。 彼は朝から晩まで働いた。 私は昨日不思議な夢を見ました。

(*) We are grateful for the permission to use, for research purposes, the original recordings by Geartsje de Vries of audiobooks written by Koos Tiemersma and published by publisher Audiofrysk.