Over mijn onderzoek

Zoals gezegd zijn er vrij veel online vertaalmachines. Ik moest dus een selectie maken. Daarbij heb ik vooral gelet op de gratis beschikbaarheid en de bekendheid bij het brede publiek.

Selecteren

Uiteindelijk selecteerde ik de vertaalmachines Google Translate (statistische vertaalmachine), Bing translator (statistische vertaalmachine) en Intertran (regelgebaseerde vertaalmachine). Google Translate en Bing Translator liggen voor de hand. Google Translate is de meest gebruikte online vertaalmachine. Bing Translator is ontwikkeld door Microsoft, dat we kennen van Microsoft Office en de populaire tekstverwerker Word, waaraan Bing Translator is gekoppeld.

Hergebruiken

Mijn onderzoeksmethode heb ik zo eenvoudig mogelijk gehouden, zodat belangstellenden ze gemakkelijk kunnen hergebruiken om andere vertaalmachines te vergelijken of andere talencombinaties te evalueren.

Minicorpus

Om te beginnen heb ik een minicorpus samengesteld van negen Nederlandse zinnen die als input ter vertaling moesten dienen. Daarbij heb ik rekening gehouden met de typische problemen die Nederlandstaligen ondervinden als ze Spaans willen schrijven of spreken. Deze problemen lijken vooral betrekking te hebben op woordenschat en grammatica.
Wat woordenschat betreft heb ik onderzocht welke vertaalmachine het beste overweg kan met collocaties (kleine, vaste woordgroepen), realia (feiten of zaken die uniek zijn voor een land, taal of cultuur), het geslacht van een bepaald woord en de keuze van het adequate woord.
Wat grammatica betreft heb ik onderzocht welke vertaalmachine het beste resultaat geeft als het gaat om congruentie (bv. overeenkomst tussen onderwerp en werkwoord), het gebruik van ser en estar, het gebruik van de wijzen (bv. indicatief, conjunctief), het gebruik van de tijden en het gebruik van voorzetsels.
De uitkomst van mijn onderzoek laat dus tevens zien welke problemen het best worden aangepakt door welke vertaalmachine.

Objectief evalueren

Vervolgens heb ik de output van de verschillende machines vergeleken. Om een objectieve vergelijking te kunnen maken, heb ik het internationaal gerenommeerde puntensysteem van SAE International gebruikt. Dit puntensysteem houdt niet alleen rekening met het aantal fouten in een vertaling, maar ook met de zwaarte van die fouten. Zo krijgt elke soort fout een precies aantal punten. Vervolgens moet men al deze punten optellen en delen door het aantal woorden in de brontekst. De vertaling die de laagste score heeft, heeft dus de beste kwaliteit. Een volledige analyse van de Spaanse vertalingen is in de eerste annex bij dit artikel te raadplegen.
De uitkomst van mijn onderzoek laat dus tevens zien welke fouten het meest/minst gemaakt worden door welke vertaalmachine.