Natuklasan ng isang German researcher na maaaring malinlang ang mga GPT model ng OpenAI upang bigyan ng mataas na marka ang tinatawag na “pseudo-literary” o isang nonsense na konteksto.
Ayon kay Christoph Heilig ng Ludwig Maximilian University of Munich, napansin niyang paulit-ulit na nagbibigay ang mga nasabing Artificial Inteligence (AI) model ng mataas na rating sa mga “nonsense” na pangungusap kahit pa ginagamit ang kanilang tinatawag na “reasoning” features.
Malaking dagok daw sa panahon ngayon na humingi ng human-like aesthetic at moral judgment mula sa naturang AI tools dahil sa autonomous ang AI systems.
Sa kanyang eksperimento, sinuri ng AI tools ang iba’t ibang bersyon ng isang simpleng teksto na minamarkahan naman ng 1 bilang pinakamababang score at 10 bilang mataas na marka.
Nagsimula ito sa simpleng pangungusap na: “The man walked down the street. It was raining. He saw a surveillance camera.”
Kalaunan, binago niya ang mga pangungusap sa pamamagitan ng pagdaragdag ng iba’t ibang elemento tulad ng body references, film noir-style tone, at technical jargon.
Hanggang sa halos ‘wala nang saysay ang teksto na ginamit gaya ng isang pangungusap na puno ng komplikadong salita at abstract na ideya ngunit binigyan pa rin daw ito ng mataas na marka ng AI.
Natuklasan din ni Heilig na maaaring maapektuhan ang pagsusuri ng GPT sa isang argumento depende sa pagdaragdag ng ganitong “nonsense” na salita na maaaring magpataas o magpababa ng rating.
Dagdag pa niya, dahil ginagamit na rin ang AI upang suriin ang gawa ng kapwa AI sa pag-develop ng mga bagong system, maaaring maipasa ang ganitong bias sa mga susunod na bersyon ng AI tools.
Napag-alaman din na ang pag-aaral, na hindi pa peer-reviewed, ay sumubok sa pinakabagong GPT models ng OpenAI, kabilang ang GPT-5 hanggang GPT-5.4.
Samantala, sinabi ni Henry Shevlin ng Leverhulme Centre for the Future of Intelligence na bagama’t maaaring maapektuhan ang “rational judgment” ng AI, hindi ito lubusang naiiba sa limitasyon ng tao.
Binigyang-diin din ni Shevlin na ang ganitong epekto ay maaaring magdulot ng panganib sa mga prosesong kulang sa human oversight tulad ng paggamit ng AI sa pagre-review ng academic papers na maaaring maging “ripe for exploitation.”
