Detektory tekstu AI zawodzą, gdy model naśladuje styl autora. W pismie naukowym pomijają nawet 48 proc. tekstów
Nowe badanie pokazuje, że komercyjne detektory tekstu AI niemal bezbłędnie rozpoznają teksty z prostych promptów, ale masowo przepuszczają fragmenty, w których model naśladuje styl konkretnego autora. W tekstach naukowych odsetek pominięć sięga 48 procent.
Komercyjne detektory tekstu generowanego przez AI radzą sobie niemal bezbłędnie, dopóki model dostaje prosty prompt w rodzaju „napisz esej o…“. Problem zaczyna się, gdy generator ma naśladować styl konkretnego autora — wtedy, jak wynika z nowej analizy zespołu badawczego Epoch AI, opisanej przez serwis The Decoder, odsetek niewykrytych tekstów gwałtownie rośnie.
W testach ogólnych do 18 proc. fragmentów wygenerowanych z imitacją stylu przeszło przez detektory niewykryte — tyle właśnie przepuścił Originality.ai, jedno z najpopularniejszych komercyjnych narzędzi tego typu.
Dlaczego pismo naukowe wypada najgorzej?
Najsłabiej detektory radzą sobie z tekstami akademickimi — a to gatunek, w którym są używane najczęściej w praktyce: przez uczelnie sprawdzające prace studentów i przez wydawców weryfikujących manuskrypty i recenzje. W tej kategorii odsetek pominięć sięga aż 48 proc. Przy szczegółowych testach na tekstach naukowych z imitacją stylu Pangram przepuścił 25 proc. fragmentów, GPTZero — 24 proc., a Originality.ai — 29 proc.
Co dokładnie oszukuje detektory?
Autorzy badania tłumaczą to mechanizmem, na którym opierają się wszystkie testowane narzędzia: modele językowe mają charakterystyczne sygnatury stylistyczne — powtarzalne wzorce słownictwa, składni i rytmu zdań, po których detektor rozpoznaje maszynowe pochodzenie tekstu. Gdy model dostaje próbkę pisma konkretnego autora do naśladowania, sygnatury te się zacierają, a wygenerowany tekst upodabnia się do naturalnego stylu człowieka na tyle, że algorytm klasyfikuje go jako ludzki.
Co to oznacza dla uczelni i wydawców?
Wnioski badaczy są niepokojące dla instytucji, które traktują wynik detektora jak dowód. Uczelnie i redakcje polegające na takich narzędziach mogą żyć w fałszywym poczuciu bezpieczeństwa — skuteczność zmierzona na prostych promptach nie przekłada się na skuteczność wobec tekstów pisanych z premedytacją pod konkretny styl. Wyścig zbrojeń między generatorami tekstu a systemami do ich wykrywania coraz wyraźniej przechyla się na stronę generatorów, a naśladowanie cudzego stylu staje się jednym z najprostszych sposobów na obejście kontroli antyplagiatowej.
Komentarze