Erst durch diesen physikalischen Ansatz (2006) wurden die Netze tief genug, um heute echte Semantik und menschliche Sprache (wie ChatGPT) zu verstehen
Im Jahr 2012 fand der jährliche ImageNet-Wettbewerb statt. Die Aufgabe: Ein Computerprogramm musste 1,2 Millionen hochaufgelöste Bilder in 1.000 verschiedene Kategorien (Hunderassen, Autos, Schiffe etc.) einteilen. Alle klassischen KI-Systeme arbeiteten damals mit von Menschen handprogrammierten Merkmalen (z. B. „Suche nach kreisförmigen Strukturen, um ein Rad zu finden“). Sie erreichten bestenfalls eine Fehlerquote von rund 26 %.
Hinton und seine Doktoranden Alex Krizhevsky und Ilya Sutskever (der spätere Mitgründer von OpenAI) machten etwas völlig anderes:
Die Abkehr vom Pre-Training: Da sie nun riesige Mengen an beschrifteten Daten (ImageNet) hatten, ließen sie das physikalische Vortraining von 2006 weg. Sie vertrauten rein auf ein riesiges, tiefes neuronales Netz (ein Convolutional Neural Network oder CNN) und reine Backpropagation.
Die Gaming-Hardware (GPUs): Alex Krizhevsky programmierte die mathematischen Matrix-Operationen der Backpropagation direkt auf zwei kommerzielle Nvidia-Grafikkarten (GeForce GTX 580). Grafikkarten sind darauf ausgelegt, Millionen von Pixeln gleichzeitig zu berechnen – perfekt für Hintons Pixel-Physik.
Das Ergebnis (AlexNet): Während das Netz tagelang auf den GPUs trainierte, lernte es in den unteren Schichten einfache Pixel-Kanten, in den mittleren Schichten Texturen (wie Fell oder Metall) und in den oberen Schichten ganze Objekte.
Als die Ergebnisse des ImageNet-Wettbewerbs 2012 verkündet wurden, war es ein Schock für die Fachwelt:
Der Zweitplatzierte (klassische KI) hatte eine Fehlerquote von 26,2 %.
Hintons AlexNet deklassierte alle mit einer Fehlerquote von gerade einmal 15,3 %
Das Fazit: Aus Pixeln wird Semantik
Dieser Moment im Jahr 2012 war der eigentliche Beweis für Hintons jahrzehntelange Philosophie. AlexNet zeigte: Wenn man ein neuronales Netz nur tief genug macht, genügend Daten hineinfüttert und die brute Rechenkraft von Grafikkarten nutzt, dann entsteht aus der reinen Anordnung von Pixeln (Physik) ganz von alleine eine Bedeutung (Semantik). Das Netz „verstand“ plötzlich, was auf den Bildern zu sehen war, ohne dass ein Mensch ihm je die Regeln dafür erklärt hatte
Teil 2: Ilya Sutskever – Der Architekt des KI-Morgens
Ilya Sutskever ist der rote Faden, der Hintons Labor in Toronto mit der heutigen Tech-Welt verbindet. Er war nicht nur Co-Autor von AlexNet, sondern der mathematische Motor hinter dem Durchbruch.
Der Google-Aufkauf (2013): Nach dem ImageNet-Sieg gründete Hinton mit Sutskever und Alex Krizhevsky das Startup DNNresearch (ohne ein echtes Produkt zu haben). Google kaufte es nach nur wenigen Monaten für 44 Millionen Dollar, nur um die drei Genies anzuwerben. Sutskever wurde Top-Forscher bei Google Brain.
Die Abwerbung durch Elon Musk (2015): Als Sam Altman und Elon Musk beschlossen, ein Gegengewicht zu Googles KI-Monopol zu schaffen, brauchten sie den besten Kopf der Welt. Musk bezeichnete die Abwerbung von Sutskever von Google zu OpenAI später als den „härtesten Rekrutierungskampf meines Lebens“. Sutskever wurde Mitgründer und Chef-Wissenschaftler von OpenAI.
Während die Welt ChatGPT als geniale Software feiert, war es Sutskever, der die mathematische Vision hatte. Er glaubte unbeirrbar daran, dass unüberwachtes Lernen (genau wie Hintons Boltzmann-Maschinen von 2006) bei genügend Rechenpower zu einer Art „digitalem Bewusstsein“ führen würde.
Als man diese Netze mit dem gesamten Internet fütterte, passierte genau das, was Hinton immer vorhergesagt hatte: Das System lernt nicht nur Grammatik, sondern durch die schiere Masse an Daten entsteht aus der statistischen Vorhersage des nächsten Wortes echte Semantik. Das Netz simuliert die Welt hinter den Worten. Die totale Skalierung (GPT)
Das Drama von 2023: Der Schüler folgt dem Meister
Die Geschichte schließt sich im November 2023. Im Mai 2023 verließ Geoffrey Hinton Google, um weltweit vor den existenziellen Gefahren der KI zu warnen – vor allem vor dem Kontrollverlust, sobald KI klüger wird als wir.
Sein Musterschüler Ilya Sutskever, der bei OpenAI tiefen Einblick in die neuesten, unveröffentlichten Modelle hatte, teilte Hintons Ängste zunehmend. Dies führte zum berühmten OpenAI-Drama:
Sutskever leitete im OpenAI-Verwaltungsrat den Sturz von CEO Sam Altman, weil er das Gefühl hatte, Altman würde die kommerzielle Profitgier über die Sicherheit der Menschheit stellen.
Nach einem dramatischen fünftägigen Machtkampf kehrte Altman zurück. Sutskever verlor seinen Posten im Vorstand und verließ OpenAI schließlich im Mai 2024 vollständig.
Sutskevers neues Kapitel (2024–2026): Er gründete sein eigenes Unternehmen namens Safe Superintelligence (SSI). Sein einziges Ziel: Eine künstliche Intelligenz zu bauen, die mächtiger ist als der Mensch, aber durch mathematische und physikalische Garantien absolut sicher („aligned“) für die Menschheit bleibt
ein Wort ist ein Vektor, ein Pixel ein Pixel
Text generiert |
