Dubbing AI

Dubbing AI er software, der erstatter den talte lyd i en video med en version på et andet sprog. Den transskriberer det sagte, oversætter det, genererer ny tale og lægger den tilbage under billedet. De bedre værktøjer bevarer talerens egen stemme, og nogle tilpasser også mundbevægelserne, så læberne passer til de nye ord. Et job, der før krævede et studie, en oversætter og flere stemmeskuespillere, kan nu starte med en upload.

Der findes også en app, der hedder Dubbing AI, og den er noget helt andet. Det er en stemmeforvrænger i realtid til gamere, streamere og folk, der spiller roller online. Hvis det var den, du søgte efter, er der et kort afsnit om den længere nede. Resten af indlægget handler om den anden betydning: at bruge AI til at dubbe marketingvideoer til de sprog, dine kunder taler.

Vi har selv gjort det. Content24s produktdemo findes på engelsk og i syv dubbede versioner, og besøgende på vores demoside får den, der passer til deres sprog. Guiden bygger altså på praksis og ikke kun på research. Den forklarer, hvordan dubbing med AI virker, hvilke værktøjer der findes, en arbejdsgang der holder, hvad du skal tjekke om rettigheder og samtykke, og hvor teknologien stadig kommer til kort.

Sådan virker dubbing med AI

Alle værktøjer følger nogenlunde samme kæde. Det er værd at kende trinene, for hvert af dem er et sted, hvor en dubbing kan gå galt, og et sted, hvor du kan gribe ind.

1. Transskription. Talegenkendelse gør den originale lyd til tekst med tidskoder. Er transskriptionen forkert, bliver alt efterfølgende også forkert.
2. Genkendelse af talere. Værktøjet finder ud af, hvem der taler hvornår, så hver person får sin egen stemme på det nye sprog.
3. Adskillelse. Stemmerne skilles fra musik og baggrundslyd, så musikken kan blive, mens talen udskiftes.
4. Oversættelse. Teksten oversættes, som regel af en stor sprogmodel. Gode værktøjer forsøger at holde hver replik tæt på originalens længde, så den passer ind i samme tidsrum.
5. Stemmegenerering. Ny tale genereres på målsproget. Med stemmekloning lyder den som den oprindelige taler. Uden vælger du en standardstemme.
6. Timing og mix. De nye replikker tilpasses den oprindelige timing og mixes sammen med musik og effekter igen.
7. Læbesynkronisering (valgfri). Nogle værktøjer ændrer talerens mund i videoen, så den passer til det nye sprog. Det er det mest synlige trin og det, der kræver mest regnekraft.

De fleste værktøjer lader dig redigere transskription og oversættelse, før stemmen genereres. Brug det. At rette et ord i teksten tager sekunder. At rette det efter rendering betyder at rendere igen.

De vigtigste værktøjer til dubbing med AI

Markedet bevæger sig hurtigt, og sproglisterne på leverandørernes sider ændrer sig hele tiden. Brug noterne nedenfor som udgangspunkt, og tjek den aktuelle liste på hver produktside.

• ElevenLabs. Kendt for sine stemmer tilbyder ElevenLabs automatisk dubbing og en mere praktisk editor, Dubbing Studio, hvor du retter transskription, oversættelse og timing linje for linje. Den genkender flere talere og kan eksportere separate lydspor og undertekstfiler. Ifølge ElevenLabs' egen dokumentation er læbesynkronisering i skrivende stund ikke en del af deres dubbing. Vores guide til ElevenLabs dækker resten af produktet.
• Rask AI. Rask er bygget til lokalisering af video. Den oversætter og dubber til en lang række sprog, kloner stemmer og tilbyder læbesynkronisering, også når flere personer er i billedet. Anmeldelser nævner, at læbesynkronisering bruger flere af abonnementets minutter end almindelig dubbing. Læs vores guide til Rask AI.
• HeyGen. Bedst kendt for avatarvideoer, men HeyGen oversætter også eksisterende videoer med stemmekloning og læbesynkronisering, og du kan indsætte et link fra YouTube i stedet for at uploade. Sammenligner du avatarplatforme, så se vores HeyGen alternativ.
• Videoplatforme med indbygget dubbing. Værktøjer som Vidnoz AI og flere editorer har nu en knap til oversættelse. Det er fint til hurtige klip til sociale medier, men med mindre kontrol over manuskriptet.

Intet værktøj er bedst til alt. ElevenLabs vinder ofte på stemmekvalitet og redigering. Rask og HeyGen vinder, når læberne skal passe. Fylder et ansigt billedet, betyder læbesynkronisering meget. I en produktgennemgang, der mest er skærmoptagelse med speak, betyder det næsten intet.

Hvad stemmeappen Dubbing AI er

Appen Dubbing AI er en stemmeforvrænger og et soundboard. Du installerer den på Windows, Mac, Android eller iOS, vælger en stemme, og den ændrer din stemme i realtid, mens du taler i et spil, på Discord eller i en stream. Den fungerer som en virtuel mikrofon, som andre programmer bruger som input, og firmaet anbefaler hovedtelefoner, så den ændrede stemme ikke giver rundgang. Den markedsfører også stemmer til sang og animefigurer.

Det er underholdningssoftware og ikke et værktøj til lokalisering. Den oversætter ikke din video og bevarer ikke din stemme på et andet sprog. Flere andre apps i app butikkerne har lignende navne, så tjek udvikleren, før du downloader. Vil du nå kunder på et andet sprog, er det værktøjerne i forrige afsnit, du skal bruge.

Hvor dubbing med AI hjælper et marketingteam

De bedste kandidater er videoer, du allerede har lavet, som allerede virker på dit hovedsprog, og som forklarer noget frem for at underholde. Manuskriptet ligger fast, budskabet er testet, og prisen for et nyt sprog er nu lav.

• Produktvideoer og demoer. Den tydeligste gevinst. En køber i Tyskland eller Tyrkiet forstår et produkt hurtigere, når det vises på hans eller hendes eget sprog. Det er derfor, vi dubbede vores egen demo.
• Onboarding og hjælpevideoer. Kunder, der allerede har købt, har mere brug for klare instruktioner end for finish. Det er langt billigere at dubbe et bibliotek af korte vejledninger end at optage hver enkelt igen.
• Optagede webinarer. Et godt webinar kan blive en ressource på flere markeder, især med oversatte slides.
• Historier fra stiftere og kunder. Stemmekloning bevarer den rigtige persons stemme, og det betyder noget, når pointen netop er, at det er et rigtigt menneske, der taler.
• Test af betalte annoncer. Før du lægger budget i et nyt land, er en dubbet version af en annonce, der allerede virker, en billig måde at se, om markedet reagerer.

Det fungerer dårligere med ordspil, humor, sange og hurtig snak mellem flere personer. Vittigheder overlever sjældent en oversættelse, og timingfejl høres tydeligere, når folk afbryder hinanden.

En arbejdsgang, der holder

Det her er den proces, vi anbefaler til ethvert team, der dubber en video for første gang. Den virker ens, uanset hvilket værktøj du vælger.

1. Start med ren lyd. Eksporter den bedste fil, du har, helst med stemme og musik på separate spor. Støj og musik under stemmen gør alle senere trin dårligere.
2. Ret den originale transskription først. Ret produktnavne, funktionsnavne og tal på originalsproget, før noget oversættes.
3. Lav en ordliste. Skriv de ord ned, der aldrig må oversættes, som dit brandnavn og navnene på dine abonnementer, og de ord, der har en aftalt oversættelse på hvert marked.
4. Oversæt og rediger som tekst. Læs det oversatte manuskript, før der genereres stemme. Forkort replikker, der er for lange. Tysk og fransk kræver ofte flere ord end engelsk.
5. Lav ét sprog og gennemgå det helt. Kør ikke ti sprog i første omgang. Find problemerne i ét, ret indstillingerne, og tag så resten.
6. Lad en person med sproget som modersmål lytte. Ikke læse, lytte. Udtale, tone og akavede pauser opdager man kun ved at høre resultatet. En kollega på markedet eller en freelancer er nok.
7. Tjek tekst i billedet. Dubbing ændrer lyden, ikke slides, undertekster eller tekst i brugerfladen. Planlæg undertekster eller oversat grafik for sig.
8. Udgiv der, hvor folk finder det. Læg hver version på den tilsvarende sprogside på dit website og i de rigtige kanaler, så en besøgende fra det marked faktisk får den.

Det sidste punkt overses let. En dubbet video i en mappe hjælper ingen. På vores website afgør det sprog, man browser på, hvilken version af demoen der afspilles, og vores bekræftelsesmails linker til siden på samme sprog. Det er den slags detaljer, der gør dubbingen værd at lave.

Priser

De fleste værktøjer tager betaling efter antal minutters video, med en gratis prøveperiode eller en lille gratis kvote. Læbesynkronisering, ekstra stemmekloner, højere opløsning og fjernelse af vandmærke ligger som regel på dyrere planer eller bruger minutter hurtigere. Priser og kvoter ændrer sig ofte, og anmeldelser er sjældent enige, så vi nævner ingen tal her. Tjek prissiderne hos ElevenLabs, Rask AI og HeyGen, før du lægger budget, og regn med de minutter, du reelt skal bruge, inklusive de kørsler, du laver om efter gennemgang.

Rettigheder, samtykke og mærkning

Stemmekloning rejser spørgsmål, som en almindelig oversættelse ikke gør. Du får en person til at sige ord, vedkommende aldrig har sagt, på et sprog, vedkommende måske ikke taler. Gør det med omtanke.

• Få skriftligt samtykke. Alle, hvis stemme du kloner, bør sige ja skriftligt, også til hvordan og hvor længe stemmen bruges. Det gælder medarbejdere, stiftere, kunder og skuespillere.
• Tjek gamle tilladelser. En kunde, der sagde ja til en engelsk case, har ikke automatisk sagt ja til fem andre sprog.
• Respekter licenser til musik og optagelser. Dubbing ændrer ikke licensen til musik eller stockmateriale i videoen. Nogle licenser gælder kun i bestemte lande.
• Læs vilkårene om data. Find ud af, om værktøjet gemmer dine stemmekloner og uploads, hvor længe, og om de bruges til at træne modeller. Ikke lancerede produkter og interne møder hører ikke hjemme i et værktøj uden en klar aftale.
• Tænk over mærkning. Reglerne for syntetiske og ændrede medier strammes, blandt andet med kravene om gennemsigtighed i EU's AI forordning. En kort note om, at videoen er oversat med AI, er let at tilføje og sparer dig for pinlige spørgsmål senere.

Et bredere overblik over reglerne for marketingindhold lavet med AI finder du i vores guide til AI compliance.

Begrænsninger ved dubbing med AI

Dubbing med AI er godt nok til meget erhvervsvideo. Det er endnu ikke så godt som dygtige menneskelige stemmeskuespillere, og du bør kende hullerne, før du lover noget internt.

• Følelser. Klonede stemmer rammer en persons klang godt, men følelser mindre godt. Rolige forklaringer virker. Begejstring, sarkasme og sorg lyder ofte fladt.
• Navne og fagudtryk. Brandnavne, forkortelser og tekniske ord er der, hvor udtalen oftest fejler. De fleste værktøjer lader dig rette det med stavehints eller en udtaleordbog.
• Timing. Når en oversættelse er meget længere end originalen, taler stemmen hurtigere, eller replikken bliver klippet. Begge dele kan høres. Løsningen er at redigere manuskriptet.
• Overlappende tale. Paneldebatter og livlige interviews forvirrer genkendelsen af talere. Regn med at flytte nogle replikker manuelt.
• Læbesynkronisering i nærbilleder. Den er blevet meget bedre, men på et stort ansigt kan små fejl ved munden virke underlige. Test på dine egne optagelser.
• Kulturel tilpasning. En perfekt oversættelse kan stadig være det forkerte budskab. Eksempler, priser og referencer kan kræve ændringer fra marked til marked, og det fortæller intet værktøj dig.

Hvor dubbing passer ind i din indholdsplan

Dubbing får videoen til at tale sproget. Resten af kampagnen skal også: landingssiden, mailen der sender folk til videoen, opslagene på sociale medier og annonceteksterne omkring den. En spansk video under en engelsk overskrift konverterer ikke.

Det er her, Content24 hjælper. AI Video dækker korte videoer, du skal lave fra bunden. AI Social skriver og planlægger opslagene på hvert sprog. Brand Kit holder dine begreber, din tone og dine påstande ens på tværs af markeder, så dubbing, billedtekst og side lyder som ét firma. Vores indlæg om brandstemme på tværs af AI værktøjer forklarer, hvordan du holder det ensartet, når du tilføjer sprog.

Ofte stillede spørgsmål

Hvad er Dubbing AI?

Begrebet dækker to ting. Generelt betyder det at bruge AI til at oversætte talen i en video og erstatte den med ny lyd på et andet sprog, ofte med samme stemme. Det er også navnet på en bestemt app, der ændrer stemmer i realtid til gaming og streaming, og som ikke oversætter videoer.

Kan dubbing med AI bevare min egen stemme?

Ja. De fleste værktøjer til marketing tilbyder stemmekloning, så den dubbede version lyder som den oprindelige taler. Kvaliteten afhænger af kildelyden, så rene optagelser giver langt bedre kloner.

Har jeg brug for læbesynkronisering?

Kun når et ansigt er stort og tydeligt, mens det taler. Til skærmoptagelser, slides eller videoer med speak er en god dubbing uden læbesynkronisering som regel nok, og den er billigere.

Er dubbing med AI præcis nok til at udgive uden gennemgang?

Nej. Den sparer dig for det meste af arbejdet, men en person med sproget som modersmål bør lytte til hver version, før den går live. Navne, tal og tone er der, hvor fejlene gemmer sig.

Er det lovligt at klone en persons stemme til dubbing?

Med klart skriftligt samtykke fra personen er det almindelig praksis. Uden samtykke løber du en reel juridisk risiko og en risiko for dit omdømme. Reglerne varierer fra land til land, så tal med jeres jurister om jeres markeder.

Konklusion

Dubbing AI har gjort et ekstra sprog til en lille beslutning i stedet for et stort projekt. Tag en video, der allerede virker, ryd op i manuskriptet, lav ét sprog, lad en person med sproget som modersmål lytte, og rul det så ud. Hav samtykke på skrift, lad et menneske stå for den sidste kontrol, og sørg for, at siden og opslagene omkring videoen taler samme sprog som stemmen i den. Når du vil have tekster, kalender og brandregler samlet ét sted for hvert marked, så klik Get Started hos Content24.