Anthropics Claude 3 slår OpenAI's GPT-4 i opsummering af tekst

Anthropics Claude 3 klarer sig bedre end OpenAI's GPT-4 i at lave korte opsummeringer af tekster. Et nyt datasæt kaldet FABLES giver os indsigt i, hvordan AI kan opsummere hele bøger.

Forskere kiggede på opsummeringer lavet af forskellige modeller og fandt ud af, at Anthropics Claude 3 Opus var mere nøjagtig end OpenAI's GPT-4. De mente, at 90% af kommentarerne var korrekte, selvom det stadig er svært at tjekke, om de faktuelle påstande er sande. Undersøgelsen viste, at når modellerne får mere tekst at arbejde med og samtidig færre fejl i rækkefølgen, fokuserer de mere på slutningen af bogen.

Claude 3 Opus er god til at inkludere vigtig information, men den har svært ved at lave perfekte opsummeringer af lange tekster. Du kan finde FABLES-datasættet på GitHub, hvis du vil vide mere om AI-drevne opsummeringer. Læs mere her.