Aus Wiki1

Der folgende Text wurde unter Verwendung von ChatGPT erstellt. Da ich von der Materie nur begrenzt etwas verstehe, kann ich die Aussagen nicht bewerten. Sie stellen aber einen Startpunkt für eine tiefere Beschäftigung mit dem Thema dar.

Dimensionslose Kennzahlen zur Skalierung und zum Vergleich informationsverarbeitender Systeme

Einleitung

In vielen wissenschaftlichen Disziplinen erlauben dimensionslose Kennzahlen (z.B. Reynolds-, Mach- oder Knudsen-Zahl) eine systematische Einordnung sehr unterschiedlicher physikalischer Systeme hinsichtlich ihrer Skalierungs- und Regimeeigenschaften. Im Bereich der künstlichen Intelligenz, der Neurobiologie und der molekularen Biologie existiert bislang keine einzelne kanonische Kennzahl dieser Art. Dennoch haben sich in den letzten Jahrzehnten mehrere families von dimensionslosen oder normierten Größen herausgebildet, die einen substratunabhängigen Vergleich informationsverarbeitender Systeme erlauben.

Ziel dieses Essays ist es, diese Kennzahlen systematisch zusammenzuführen und zu zeigen, wie sich sehr unterschiedliche Systeme – klassische Computer, Large Language Models (LLMs), Protein-Netzwerke sowie biologische Gehirne – auf gemeinsamen Achsen einordnen lassen.

---

Skalierungsgesetze in der künstlichen Intelligenz

Empirische Arbeiten zu neuronalen Netzen zeigen robuste Power-Law-Zusammenhänge zwischen Modellgröße, Datenmenge und erreichbarer Performance:

<math> \mathcal{L} \propto N^{-\alpha}, \quad \mathcal{L} \propto D^{-\beta}, \quad \mathcal{L} \propto C^{-\gamma} </math>

Dabei bezeichnet <math>N</math> die Anzahl der Modellparameter, <math>D</math> die Trainingsdatenmenge und <math>C</math> den Rechenaufwand. Zentral ist hierbei nicht der absolute Wert, sondern das **dimensionslose Verhältnis** dieser Größen, insbesondere das Parameter-zu-Daten-Verhältnis <math>N/D</math>.

Diese Verhältnisse übernehmen eine ähnliche Rolle wie klassische dimensionslose Kennzahlen in der Physik, sind jedoch empirisch und aufgabenabhängig bestimmt.

---

Systemübergreifende Kennzahlenfamilien

Informationsbasierte Kennzahlen

Ein substratunabhängiger Vergleich wird möglich, wenn Systeme primär als Informationsverarbeiter betrachtet werden. Zentrale dimensionslose Größen sind:

• Mutual Information: <math>I(System; Input)/H(Input)</math>
• Predictive Information: <math>I(Past; Future)/H(Past)</math>
• Synergieanteil der Information (Partial Information Decomposition)

Diese Kennzahlen wurden erfolgreich auf neuronale Populationen, Protein-Netzwerke und künstliche neuronale Netze angewandt.

---

Integrierte Information und Systemkohärenz

Die Theorie der integrierten Information (IIT) versucht zu quantifizieren, wie viel Information ein System als Ganzes erzeugt, die nicht auf seine Teile reduzierbar ist:

<math> \Phi = I(Whole) - \sum I(Parts) </math>

Obwohl die praktische Berechnung für große Systeme schwierig ist, erlaubt Φ eine konzeptionelle Einordnung von Feedforward-Netzen, rekurrenten Systemen und biologischen Gehirnen auf einer gemeinsamen Skala.

---

Dynamische Kennzahlen und Kritikalität

Viele biologische und lernende Systeme operieren nahe eines kritischen Punktes zwischen Ordnung und Chaos. Normierte Lyapunov-Exponenten und Varianz-Mittelwert-Verhältnisse dienen hier als dimensionslose Indikatoren:

• <math>\lambda_{max} \approx 0</math> (Edge of Chaos)
• Skalenfreie Aktivitätsverteilungen (neuronale Avalanches)

Diese Eigenschaften wurden sowohl in Gehirnen als auch in rekurrenten neuronalen Netzen beobachtet.

---

Effizienzkennzahlen

Ein besonders robuster Vergleich ergibt sich durch Normierung des Energieverbrauchs:

• Information pro Joule
• Normierung relativ zur Landauer-Grenze

Hier zeigen biologische Systeme – insbesondere Gehirne – eine um Größenordnungen höhere Effizienz als digitale KI-Systeme.

---

Vergleich unterschiedlicher Systeme

Auf Basis der genannten Kennzahlen lassen sich klassische Computer, LLMs, Protein-Netzwerke sowie biologische Gehirne nicht eindimensional, sondern als Vektoren im Kennzahlenraum einordnen.

Charakteristisch ist dabei:

• klassische Computer: hohe Rechengeschwindigkeit, geringe Integration und Adaptivität
• LLMs: hohe statistische Modellkapazität, geringe Energieeffizienz und Plastizität
• Protein-Netzwerke: extrem energieeffizient, robust, lokal hoch integriert
• Insektengehirne: überraschend hohe Adaptivität bei geringer struktureller Komplexität
• Menschengehirn: hohe Integration, Effizienz und multiskalige Plastizität

---

Dreidimensionale Einordnung informationsverarbeitender Systeme

Zur Veranschaulichung kann ein dreidimensionaler, dimensionsloser Raum definiert werden mit den Achsen:

• X: Integrierte Information (Φ, normiert)
• Y: Energieeffizienz (Information pro Joule, normiert)
• Z: Adaptivität / Plastizität (normiert)

In diesem Raum ergeben sich klar getrennte Regionen für digitale und biologische Systeme.

---

Diskussion

Die vorgestellten Ergebnisse zeigen, dass ein systemübergreifender Vergleich von KI-Systemen, biologischen Netzwerken und Gehirnen prinzipiell möglich ist, jedoch nicht über eine einzelne Kennzahl. Sinnvoll ist vielmehr ein **mehrdimensionaler Kennzahlenraum**, der Information, Dynamik, Effizienz und Adaptivität kombiniert.

Ein zentrales Ergebnis ist, dass hohe Modellkapazität allein keine hohe funktionale Komplexität impliziert. Vielmehr scheinen niedrige effektive Dimension, kritische Dynamik und strukturelle Plastizität entscheidende Faktoren für adaptive Intelligenz zu sein.

---

Fazit

Es existiert keine „Reynolds-Zahl der Intelligenz“. Stattdessen erlaubt ein Vektor aus dimensionslosen Kennzahlen eine robuste, substratunabhängige Einordnung sehr unterschiedlicher informationsverarbeitender Systeme. Dieser Ansatz eröffnet eine gemeinsame Sprache für künstliche Intelligenz, Neurobiologie und komplexe biologische Netzwerke.

---

Literatur

• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models.
• Tononi, G. (2004). An Information Integration Theory of Consciousness.
• Friston, K. (2010). The Free-Energy Principle.
• Krakauer, J. W. et al. (2017). Neuroscience Needs Behavior.
• Tishby, N., Zaslavsky, N. (2015). Deep Learning and the Information Bottleneck Principle.
• Beggs, J. M., Plenz, D. (2003). Neuronal Avalanches in Neocortical Circuits.