Jonathan Choi, professor i juridik vid Minnesota University, lÀt Chat GPT göra samma tenta som hans elever. Den bestod av 95 frÄgor med svarsalternativ och tolv uppsatsfrÄgor.
"I uppsatsskrivandet visade Chat GPT en stark förstÄelse för grundlÀggande juridiska regler och hade konsekvent en stabil organisation och komposition", skriver Choi i en sammanfattning av hur det gick.
Men roboten hade svÄrt att svara pÄ öppna frÄgor, "vilket Àr en grundlÀggande förmÄga att ha i juridiska skoluppgifter".
Betyget: C+, pÄ den amerikanska skalan som gÄr frÄn A till F. GodkÀnt, men inte sÄ mycket mer.
Korrekt men repetitiv
Chat GPT, som har tagits fram av det amerikanska företaget Open AI, kan generera mÀngder av text pÄ kort tid utifrÄn enkla direktiv och olika variabler. Svaren bygger pÄ stora samlingar av uppgifter, data, pÄ nÀtet som roboten har fÄtt lÀsa in. Dess förmÄga har redan vÀckt stora frÄgor om hur skrivuppgifter av olika slag ska genomföras i framtiden.
I skolor pÄ olika hÄll i USA har Chat GPT redan förbjudits, dÄ det befaras att elever ska lÄta den skriva uppgifter och uppsatser Ät dem, eller svara pÄ frÄgor.
TvÄ av tre rÀttare lyckades peka ut vilken tenta som hade skrivits av Chat GPT, med hÀnvisning till att den hade flÀckfri grammatik men ocksÄ var nÄgot repetitiv. Professor Jonathan Choi bedömer att den snarare kan vara en vÀrdefull medhjÀlpare.
"Ăverlag var Chat GPT ingen bra juridikstudent pĂ„ egen hand", skriver han pĂ„ Twitter, men tillĂ€gger att sprĂ„kmodeller av dessa slag kan vara till stor anvĂ€ndning nĂ€r den anvĂ€nds som stöd av juridikelever eller verksamma advokater.
Högre betyg framöver?
Chat GPT ser sjÀlv förbÀttringsomrÄden.
TT: Hur kan en chattrobot som du förbÀttras och skriva bÀttre juridiktentamen?
"Chattrobotar som jag kan bli bÀttre pÄ att skriva uppsatser i juridiktentamen genom att kontinuerligt trÀnas med en varierad uppsÀttning juridiska texter, rÀttspraxis och juridisk terminologi", svarar Chat GPT.
"Dessutom kan man genom att inkorporera maskininlÀrningstekniker sÄsom generering av naturligt sprÄk och maskinell textförstÄelse förbÀttra förmÄgan att förstÄ och svara pÄ specifika direktiv eller frÄgor. Ju mer uppgifter och information som matas in i modellen, desto mer exakta och förstÄeliga blir svaren."
Roboten tillÀgger dock att det ocksÄ Àr viktigt att en mÀnniska ser över svaren, "dÄ det resultat som genereras av modellen kan utvÀrderas och rÀttas av en juridisk expert".