Helmut Wollmersdorfer
banner
wollmersdorfer.bsky.social
Helmut Wollmersdorfer
@wollmersdorfer.bsky.social
450 followers 1.4K following 2.1K posts
hacking in #Perl, #C, #Python #GLV, #WU, #JKU, #AI, #NLP, #OCR #Ofun - optimizing for fun #bookhistory #earlymodern Vienna, Austria, Europe
Posts Media Videos Starter Packs
Solche Programme die auf KI-generiert prüfen gibt es schon. Sind sogar in KI-Anwendungen für das Schreiben von wiss. Papers eingebaut, damit man bestimmte Formulierungen vermeidet, z.B. eine aufzählende Phrase mit 3 Wörtern "a, b, or/and c".

Siehe quillbot, linke MenüLeiste.
Das ist mir schon bewusst. Ich bin geübt in Diskussionen mit Linguisten der Typen: klassisch beschreibend (z.B. Peter T. Daniels, Bibelsprachler), Sumerologen etc.; Corpus Linguisten; formale Sprach-Theoretiker; moderne NLPer (statistisch, 1990er); AI-NLPler.
Auch. Und vmtl. BFI, wenn nicht sogar MilAK;-)
Kann man damit oder überhaupt zwischen LLM-generiert und von einem Menschen geschrieben unterscheiden? IMHO höchstens als "schwaches Signal". Hab keinen vollständigen Überblick über die Versuche, aber doch eine Sammlung einschlägiger Papers. 5/5
Methodisch Bayes, Markov Modell, SVM oder was auch immer.

Ich verwende ein Markov Modell für Language Identification (LID) mit Character-Trigrammen. Einfach und schnell zu trainieren (Sekunden pro Sprache). Es diskriminiert sehr gut, mit dem üblichen Problem der Süd-West-Slawischen Sprachen. 4/
Funktionswörter korrelieren mit Stop-Words, machen einen grossen Teil der häufigsten Token in einem Text aus, sagen wir mal die häufigsten 50%, ca. 200-300 Wörter (types). Damit kann man erfahrungsgemäss Texte/Autoren klassifizieren. Eine Eigenschaft des Zipfschen Gesetzes. 3/
Selber bin ich mehr an Text-Qualität interessiert. Danke nochmal für den Hinweis auf Stilometrie vor ca. einem Jahr.

Bis zu einem gewissen Grad lassen sich Texte mit Stilografie klassifizieren, weil z.B. Funktionswörter (s. stylo-R) unbewusst (ohne Eingriff eines Lektors) verwendet werden. 2/
vorschlagen, sämtliche Satzzeichen in die Statistik einzubeziehen. Hier mal (unvollständig) ausprobiert:

@klenkflorian.bsky.social ist ein Ausreisser, weil ein Maily, das er offensichtlich/absichtlich mit " geschrieben hat. 2/
Die lassen halt den Füllstoff (Tiere, Gesellschaft, Promi, Essen, Gesundheit etc.) vermutlich von LLMs umformulieren, wo sie früher Agenturmeldungen und diverse Schnipsel selber umformuliert haben.

Politik, Kommentare schreiben sie selber.

Meine intuitive Vermutung anhand der Graphen.
Warum wird aus sichtbar "(9.5%)" per c&p "\(9.5\%\)"? Hab's vermutet, dass sie wie ChatGPT manchmal eine Art LaTeX/MathML Syntax ausliefern.

Anfänger. Falsche Kodierung ist der häufigste und teuerste Fehler in der IT. Stelle 2: Umgang mit Zeit. Lernt man nicht an der Uni.
~1999 gab es SR schon für den PC und wurde ca. bei 50% der Anwälte eingesetzt.

Da hatten die Gerichte immer noch Zeitrückstände mit den schriftlichen Ausfertigungen und haben sie heute noch. 2/2
OK, ein paar Anekdoten:

~1985: Ein KI-Verkäufer von TI führt Speech-Recognition (SR) vor und blamiert sich.
~1992: IBM-Labor führt SR für Medizin vor. Das war ca. 1 Halbschrank mit 19" Boxen. Vokabular 0,5 Mio. Hat sich wegen Mentalität der Ärzte nicht duchgesetzt. 1/
Das ist bei jeder Transkription (auch OCR, Mensch) so, dass Eigennamen, Zahlen und Fachvokabular (in der Medizin noch Myriaden von Abkürzungen) die grössten Fehlerraten haben.
Die lesen sich Anamnese-Bögen oft nicht durch bzw. bezweifeln die Angaben des Patienten. BTDT

Ich würde da ein LLM höchstens für die Erkennung von Transkriptionsfehlern (inkl. Handschrift-OCR) und Vorschlag der Korrektur verwenden. Kann eine AssistentIn machen.
Gleich Google befragt: "Whisper Turbo v3 WER", weil ich ~8% für das beste Modell von Whisper im Kopf hab (ein paar Monate alt).

Antwort mit KI ist lustig:

"Whisper Turbo v3 hat einen Worterkennungsgrad (WER) von \(9.5\%\) erreicht, [...]"

"Erkenne" den Fehler;-)
Das macht ohne Definition der Variablen wenig Sinn. Ausserdem ist die Notation schlecht formatiert und durch den Font von BlueSky schlecht lesbar. Die Notation von Logik ist auch sehr jung nach Entwicklung durch Frege, Russel, Peano und Gödel.
Google KI Bildersuche + "was ist das für ein pilz" meint:

"Amanita verna" mit Verweis auf frankies.jimdofree.com/pilze/wulstl...

Auch mit meinem dilettantischen Wissen [1] nicht so einfach.

[1] Ich weiss, wie wenig ich weiss - und das nicht immer;-)
Frühlingsknollenblätterpilz, Weißer Knollenblätterpilz
Amanita verna (Bull.) Lam. 1783
frankies.jimdofree.com
Das könnte auch die Textverarbeitung/Redaktionssystem automagisch umwandeln, weil EN-Dash der "richtige" Gedankenstrich in deutscher Typographie ist. Ausserdem sollte EN-Dash für "von-bis", z.B. "Seiten 7-9", verwendet werden.

Falter verwendet auch durchgehend(?) EN-Dash.
Das normale Hyphen

'-' U+002D HYPHEN-MINUS

solltest Du auch zählen und den Unterschied "zwischen Blanks" versus "zwischen Buchstaben/Ziffern" machen.
Deine skeptischen Fragen werden alle im von mir verlinkten Blog der ASFINAG beantwortet. Reifenabrieb ist nicht der einzige Feststoff, der gefiltert wird. Salz "kann nur zu einem geringen Teil herausgefiltert werden."