Transcriptie, sprekerlabels en identiteit
De animatie verduidelijkt de architectuur; er worden geen live acties uitgevoerd.
De NVIDIA-runtime op mijn Mac onderzoek ik nog.
- Gespreksaudio
-
De opname is de bron voor transcriptie en sprekerscheiding.
- Whisper · lokaal
-
- Wat wordt er gezegd?
- Transcript + tijdcodes
Whisper maakt tekst met tijdcodes. whisper.cpp biedt een lokale uitvoering op Apple Silicon.
- Nemotron 3 Diarization
-
- Sortformer: wie spreekt wanneer?
- Sprekerlabels, nog geen namen
Nemotron 3 Diarization levert tijdsegmenten met sprekerlabels. Het kent daarmee nog geen contactnamen.
- Transcript + sprekerlabels + audioreferenties
-
Tijdcodes verbinden tekst, sprekersegment en oorspronkelijke audio.
- Stemprofiel
-
- Audio-embeddings met bekende profielen
Speaker embeddings helpen vergelijken met bekende stemprofielen. Een mogelijke match vraagt beoordeling.
- Contactmatch
-
- Identiteit bevestigen of onbekend laten
Bij voldoende bewijs volgt een contactkoppeling. Anders blijft de identiteit onbekend.
- Mail + agenda
-
- Exact contact koppelen aan correspondentie
Een bevestigd contact helpt de bijbehorende mail en afspraken terugvinden.
- Graph + context
-
- Projecten, notities en eerdere besluiten
Ik wil passende eerdere notities, projecten en besluiten als achtergrond ophalen.
- Contextgestuurd template → Apple Notes
-
- Gezegd in het gesprek
- Bekend uit eerdere bronnen
- Voorstel van de AI
De notitie moet gesprekstekst, eerdere bronnen en voorstellen herkenbaar houden.
Verbindingen
- Gespreksaudio → Whisper · lokaal
- Gespreksaudio → Nemotron 3 Diarization
- Whisper · lokaal → Transcript + sprekerlabels + audioreferenties
- Nemotron 3 Diarization → Transcript + sprekerlabels + audioreferenties
- Transcript + sprekerlabels + audioreferenties → Stemprofiel
- Stemprofiel → Contactmatch
- Contactmatch → Mail + agenda
- Mail + agenda → Graph + context
- Graph + context → Contextgestuurd template → Apple Notes
Hoe je dit leest
- De opname is de bron voor transcriptie en sprekerscheiding.
- Whisper maakt tekst met tijdcodes. whisper.cpp biedt een lokale uitvoering op Apple Silicon. Nemotron 3 Diarization levert tijdsegmenten met sprekerlabels. Het kent daarmee nog geen contactnamen.
- Tijdcodes verbinden tekst, sprekersegment en oorspronkelijke audio.
- Speaker embeddings helpen vergelijken met bekende stemprofielen. Een mogelijke match vraagt beoordeling.
- Bij voldoende bewijs volgt een contactkoppeling. Anders blijft de identiteit onbekend.
- Een bevestigd contact helpt de bijbehorende mail en afspraken terugvinden.
- Ik wil passende eerdere notities, projecten en besluiten als achtergrond ophalen.
- De notitie moet gesprekstekst, eerdere bronnen en voorstellen herkenbaar houden.