Juristen kunnen AI beter gebruiken voor verkennende analyses dan voor eenvoudige juridische vragen. Dat schrijft ICTRecht naar aanleiding van een op 20 februari 2025 gepubliceerd rapport met een onderzoek waarin vier AI-systemen zijn getest op 75 juridische vraagstukken. Vooral de betaalde versies van ChatGPT 4o Plus en Claude 3.5 Sonnet presteren goed bij complexe juridische analyses, terwijl ze juist bij basisvragen verrassend vaak de plank misslaan.
AI wordt vaak gezien als een handig hulpmiddel voor simpele juridische vragen, maar uit het onderzoek blijkt dat deze systemen daar juist moeite mee hebben. De systemen maken bij basisvragen opvallend veel subtiele fouten. Daarentegen blinken ze uit in het structureren en verkennen van complexe juridische materie, zoals due diligence-checklists en contractanalyses. Dat maakt AI waardevol als ondersteuning, maar niet als vervanger. Het grote risico is dat AI juridisch klinkende, maar incorrecte informatie presenteert. Volgens ICTRecht valt een nep-arrest nog op, maar een verzonnen lijst met juridische criteria is veel lastiger te herkennen. Juristen moeten AI daarom niet gebruiken voor definitieve antwoorden, maar om de juiste vragen te leren stellen en hun eigen analyses te verrijken. De testresultaten laten duidelijke verschillen zien tussen de systemen. De betaalde versies van ChatGPT 4o Plus en Claude 3.5 Sonnet presteren het best en geven bruikbare analyses bij ingewikkelde rechtsvragen. Gratis versies en andere AI’s, zoals Copilot en Gemini, blijven achter. Voor grote organisaties met gevoelige data is Microsofts enterprise-oplossing de veiligste keuze, terwijl voor MKB-juristen de betaalde versies van ChatGPT, Claude of Gemini een goed alternatief zijn.
Kun je AI vertrouwen voor juridisch werk? Een empirisch onderzoek naar kwaliteit en toepasbaarheid van LLM-adviezen
Bron: ICTRecht