Google weist außerdem darauf hin, dass diese Art der Wasserzeichenmarkierung am besten funktioniert, wenn die LLM-Verteilung viel „Entropie“ enthält, also mehrere gültige Kandidaten für jedes Token (z. B. „Meine liebste tropische Frucht ist …“) [mango, lychee, papaya, durian]In Situationen, in denen das LLM-Programm „immer die gleiche Antwort auf eine bestimmte Eingabeaufforderung zurückgibt“ – etwa bei grundlegenden Sachfragen oder Modellen, die auf eine niedrigere „Temperatur“ eingestellt sind – ist das Wasserzeichen weniger effektiv.
Laut Google baut SynthID auf ähnlichen früheren KI-Textwasserzeichen-Tools auf und bietet einen sogenannten Turnier-Sampling-Ansatz. Während der Token-Generierungsschleife durchläuft dieser Ansatz jeden potenziellen Kandidaten-Token durch eine mehrstufige bogenförmige Runde, wobei jede Runde durch eine andere zufällige Wasserzeichenfunktion „beurteilt“ wird. Nur der ultimative Gewinner dieses Prozesses schafft es zum endgültigen Ausgang.
Können sie erkennen, dass es Folger ist?
Offensichtlich kann sich die Änderung des LLM-Token-Auswahlprozesses mit einem beliebigen Wasserzeichen negativ auf die Qualität des generierten Textes auswirken. Google erklärt jedoch in seiner Recherche, dass SynthID je nach den spezifischen Einstellungen des Turnieralgorithmus auf der Ebene einzelner Symbole oder kurzer Textsequenzen „verformt“ werden kann. Laut Google können andere Einstellungen die durch das Wasserzeichen-Tool verursachte „Verzerrung“ verstärken und gleichzeitig die Erkennbarkeit des Wasserzeichens erhöhen.
Um zu testen, wie sich mögliche Wasserzeichenverzerrungen auf die wahrgenommene Qualität und Nützlichkeit der LLM-Ausgabe auswirken würden, leitete Google einen „zufälligen Teil“ der Gemini-Anfragen über das SynthID-System und verglich sie mit ihren nicht mit Wasserzeichen versehenen Gegenstücken. Bei insgesamt 20 Millionen Antworten gaben die Benutzer den mit Wasserzeichen versehenen Antworten 0,1 Prozent mehr „ausgezeichnete“ Bewertungen und 0,2 Prozent weniger „ausgezeichnete“ Bewertungen, was bei einem breiten Spektrum realer LLM-Interaktionen kaum einen für Menschen messbaren Unterschied zeigt.
Untersuchungen von Google zeigen, dass SynthID zuverlässiger ist als andere KI-gestützte Wasserzeichen-Tools, seine Erfolgsquote hängt jedoch stark von Länge und Entropie ab.
Googles Tests zeigten außerdem, dass sein SynthID-Erkennungsalgorithmus KI-generierten Text deutlich häufiger erkannte als frühere Wasserzeichenschemata Glücksspiel-Probenahme. Das Ausmaß dieser Verbesserung – und die Gesamtrate, mit der SynthID KI-generierten Text erfolgreich erkennen kann – hängt jedoch stark von der Länge und Länge des betreffenden Textes ab. Stellen Sie die Temperatur ein Für das Benutzermodell. SynthID war beispielsweise in der Lage, fast 100 Prozent der 400 Zeichen langen Textproben zu erkennen, die von der KI des Gemma 7B-1T bei 1,0 generiert wurden, verglichen mit etwa 40 Prozent der 100 Zeichen langen Textproben desselben Musters bei einer Temperatur von 0,5. Temperatur.
„Web-Fan. Neigt zu Apathieanfällen. Bierfanatiker. Möchtegern-Denker.“