Menschen brauchen Entropie | Daniel Mießler
Ich hatte mehrere Gedanken zu dem Gespräch zwischen Karpathy und Dwarkesh, das Ende Oktober 2025 stattfand.
Aber das, was mich immer wieder verfolgt, ist etwas, das Karpathy nur beiläufig erwähnt hat, bevor er zu einem anderen Thema überging. Ich denke, das könnte die größte Idee im ganzen Gespräch sein.
Über die Ähnlichkeiten zwischen Mensch und Modell sagt er:
Der Mensch bricht im Laufe seines Lebens zusammen. Kinder sind noch nicht überfit. Sie werden Dinge sagen, die Sie schockieren werden, weil sie noch nicht zusammengebrochen sind.
Aber wir (Erwachsene) sind zusammengebrochen. Am Ende greifen wir immer wieder dieselben Gedanken auf, sagen immer mehr das Gleiche, die Lernraten sinken, der Zusammenbruch wird immer schlimmer und dann verschlechtert sich alles.Karpathy, im Dwarkesh Podcast
Seit ich 20 bin, habe ich schreckliche Angst davor, dass mir so etwas passieren könnte. Es geht mir durch die Seele, wenn mein Partner Dinge sagt wie:
Ich wusste, dass du das sagen würdest.
Autsch. Vorhersehbarer Humor oder Witz ist es nicht.
Ein weiteres Beispiel: Wie viele ältere Menschen kennen Sie, die immer wieder die gleichen Geschichten und Witze erzählen? Sehen Sie sich die gleichen Sendungen an. Hören Sie sich dieselben fünf Bands an, und schließlich zwei. Ihre Öffnung schrumpft langsam, bis sie sterben.
Glücklicherweise gibt Karpathy gleich danach die Lösung.
Wir müssen Entropiequellen finden.
Als wir Kinder waren, war alles Entropie, weil alles neu war. Wir änderten also ständig unsere Vorlieben, unser Verhalten, unsere Sprache und alles.
Es hat uns frisch gemacht. Unvorhersehbar. Was eng mit einem Konzept aus Shannons Informationstheorie zusammenhängt, von dem ich besessen bin und das in seinem Modell definiert Information als Teil der Übertragung, die wird nicht wiederholt oder Lärm.
Ich denke ständig darüber nach, wenn ich Vorträge halte oder an Panels teilnehme. Oder wenn ich jemand anderen dabei beobachte. Die wichtigste Frage, die ich mir – insbesondere bei meinen eigenen Inhalten – stelle, ist: Wie viel davon ist neu? Wie oft wird der Zuschauer bei meiner Präsentation angenehm überrascht sein?
Wenn die Antwort nicht sehr oft vorkommt, wiederhole ich sie oder fange von vorne an.
Ich mache aktiv eine Menge Dinge – zusätzlich zum pathologischen Lesen –, um die Entropie in meinem Leben zu maximieren.
- Ich lese viele alte Bücher über das Schreiben, etwa „Rhetorische Figuren“, um mir neue Sätze einzuprägen.
- Ich lese und höre mir regelmäßig die Bücher und Debatten von Christopher Hitchen an. Nur um mit dieser Ebene der nicht-klischeehaften Sprache in Berührung zu kommen.
- Und ich baue gerade eine KI (Claude Code-based Skill) namens
increase-entropydas all diese alte und frische Sprache einbezieht, so dass ich wie ein Teilchenbeschleuniger auf einen Gedanken oder einen Inhalt zeigen kann. Ich bin mir noch nicht sicher, wie effektiv es sein wird.
Im Jahr 2024 ging ich sogar so weit, in Fabric eine KI-Eingabeaufforderung zu erstellen, die Vorträge, Blogs, Panels oder was auch immer bewertete Wows pro Minutealso wie oft ein bestimmter Inhalt das Publikum überraschte.
Ich meine, das war ein Problem vor KI. Und jetzt delegieren viele noch mehr von ihrem Denken an ein System, das lernt, indem es Mittelmäßigkeit aus dem Internet herausholt. Ich kann mir vorstellen, dass es deutlich schlimmer wird.
Ich denke, es ist irgendwie beruhigend, dass dies sowohl bei KI-Modellen als auch bei Menschen passiert. Es macht das Ganze irgendwie menschlicher. Und als ich Karpathy das so deutlich sagen hörte, war ich auf angenehme Weise erschüttert.
Zumindest für uns Menschen scheint die Lösung etwa so zu sein:
- Erkennen Sie, dass es ein Problem ist, das bei jedem (wahrscheinlich) Mitte bis Ende 20 auftritt.
- Suchen und konsumieren Sie ständig nach Neuheiten und Frische, um Ihren Geist jung zu halten.
Würde gerne Ihre Quellen hören.
