Platte tekst: saai voor mensen, goud voor computers

In dit artikel:

Scientias heeft de inhoud van zijn podcasts beter doorzoekbaar en bruikbaar gemaakt door alle afleveringen te laten transcriberen. De transcripties worden als platte tekst opgeslagen in SRT-bestanden, die naast de gesproken tekst ook tijdcodes bevatten. Daardoor zijn de afleveringen niet alleen toegankelijker voor mensen die niet kunnen luisteren, maar ontstaat ook een doorzoekbaar tekstarchief en wordt de vindbaarheid op YouTube verbeterd.

Via Visual Studio Code is een taalmodel, zoals ChatGPT of Claude, aan de transcripties gekoppeld. Met een uitgebreid script analyseert het model iedere aflevering. Het maakt samenvattingen, herkent onderwerpen en controleert genoemde personen, dieren, sterrenstelsels en andere namen. Ook brengt het claims in kaart en zoekt het naar mogelijke bronnen. De resultaten worden opgeslagen in afzonderlijke tekstbestanden, zodat Scientias snel kan zoeken naar behandelde onderwerpen, gasten en genoemde personen.

Het systeem heeft inmiddels gegevens uit 92 afleveringen verwerkt, goed voor bijna 86 uur podcast. Presentatoren Diederik Jekel en de auteur noemden samen 685 personen en ontvingen vijf verschillende gasten. De automatische analyse leverde daarnaast 708 onderwerpen op, al blijft de afbakening daarvan deels subjectief: zo is niet altijd duidelijk of een specifiek thema onder een breder onderwerp valt.

Voor de ordening gebruikt Scientias Obsidian. Dat programma werkt met markdownbestanden: platte tekst met beperkte opmaak en aanvullende structuur. De bestanden blijven daardoor leesbaar en overdraagbaar, ook als Scientias later van programma wisselt. Plugins zoals Dataview kunnen helpen bij het ordenen, maar nadat de taalmodellen hun werk hebben gedaan, is voor het zoeken geen AI meer nodig.

De zoekfunctie is voorlopig alleen intern beschikbaar en wordt niet op de website aangeboden. Daarvoor zou de site technisch moeten worden aangepast. Volgens Scientias laat deze aanpak wel zien dat informatie beter toegankelijk blijft wanneer die niet opgesloten zit in gesloten formaten zoals Word-documenten, pdf’s of scans. Vooral grote organisaties kunnen daarmee processen versnellen en kosten besparen. De keuze voor platte tekst past bovendien binnen een bredere beweging richting open bestandsformaten en meer controle over eigen data, door Scientias omschreven als informatieautonomie.