Grundlagen des maschinellen Lernens
Überwachtes, unüberwachtes und bestärkendes Lernen, Klassifikation und Regression, k-Means und Hauptkomponentenanalyse, Kreuzvalidierung, Überanpassung und Regularisierung, Konfusionsmatrix mit Precision, Recall und F1-Score, Modelle wie Entscheidungsbaum, SVM und Naive Bayes, Forward Pass und Aktivierungsfunktionen neuronaler Netze, Gradientenabstieg und Backpropagation, CNN, RNN und Transformer, Transfer Learning und generative Modelle, erarbeitet mit Multiple-Choice-Fragen, darunter Rechenaufgaben.
Grundlagen des maschinellen Lernens: Kernpunkte
Maschinelles Lernen ist die Technik, aus Daten automatisch Regeln zu lernen, um Vorhersagen und Klassifikationen zu treffen. Es gibt überwachtes Lernen, das Labels mit richtigen Antworten verwendet, unüberwachtes Lernen, das Strukturen in Daten ohne Labels findet, und bestärkendes Lernen, das Handlungen anhand von Belohnungen lernt. Bei jedem Verfahren kommt es darauf an, wie gut das Modell bei Daten vorhersagt, die nicht zum Training verwendet wurden (Generalisierungsfähigkeit).
Behandelt werden, überwiegend anhand von Rechenaufgaben, die Aufteilung in Trainings-, Validierungs- und Testdaten und die Kreuzvalidierung, Überanpassung und der Zielkonflikt zwischen Bias und Varianz, Regularisierung und Dropout, die aus der Konfusionsmatrix berechneten Kennzahlen Precision, Recall und F1-Score, die ROC-Kurve und der mittlere quadratische Fehler. Auf typische Modelle wie lineare und logistische Regression, Entscheidungsbaum, Random Forest, k-Nächste-Nachbarn, SVM und Naive Bayes folgen der Forward Pass neuronaler Netze, Aktivierungsfunktionen, Verlustfunktionen, Gradientenabstieg und Backpropagation, Mini-Batches und Epochen, Ausgabegrößen in CNNs, RNN und Transformer, Transfer Learning, generative Modelle und die Tokens von LLMs. Das hilft auch bei der Vorbereitung auf IT-Zertifizierungsprüfungen im Bereich KI.
Alle Fragen zu Grundlagen des maschinellen Lernens (40)
- Welche der folgenden Aufgaben aus dem Bereich „überwachtes Lernen“ ist eine Regression?
- Welches der folgenden Beispiele ist unüberwachtes Lernen?
- Welche Beschreibung trifft auf bestärkendes Lernen zu?
- Welche Beschreibung des Ablaufs beim Clustering mit dem k-Means-Algorithmus trifft zu?
- Welche Beschreibung der Hauptkomponentenanalyse (PCA) trifft zu?
- Wofür werden die Validierungsdaten hauptsächlich verwendet, wenn Daten in Trainings-, Validierungs- und Testdaten aufgeteilt werden?
- Bei einer 5-fachen Kreuzvalidierung (k-fache Kreuzvalidierung mit k = 5) mit 1000 Datenpunkten: Wie viele Datenpunkte werden in jedem Durchgang zum Training verwendet?
- Woran erkennt man, dass Überanpassung (Overfitting) auftritt?
- Welche Aussage ist zutreffend, wenn man den Fehler eines Modells in Bias (Verzerrung) und Varianz (Streuung) zerlegt?
- Welche Beschreibung der Regularisierung und verwandter Verfahren gegen Überanpassung trifft zu?
- Welcher der folgenden Schritte beim Erstellen eines Machine-Learning-Modells verursacht Data Leakage (Informationen aus den Bewertungsdaten gelangen ins Training)?
- Ein Modell für die Klassifikation mit zwei Klassen wurde mit 200 Testdaten bewertet. Die Konfusionsmatrix zeigt 45 richtig positive (TP), 5 falsch positive (FP), 45 falsch negative (FN) und 105 richtig negative (TN). Welches Paar aus Precision und Recall ist richtig?
- Ein Modell für die Klassifikation mit zwei Klassen wurde mit 200 Testdaten bewertet: TP = 20, FP = 5, FN = 30 und TN = 145. Welcher Wert liegt dem F1-Score am nächsten?
- Welche Beschreibung der ROC-Kurve und der AUC, mit denen Modelle für die Klassifikation mit zwei Klassen bewertet werden, trifft zu?
- Wie hoch ist bei Daten aus 1000 Fällen, von denen nur 10 positiv sind, die Accuracy (der Anteil richtiger Vorhersagen) eines Modells, das jeden Fall als negativ vorhersagt?
- Vier Datenpunkte haben die tatsächlichen Werte 3, 5, 2 und 6, und das Modell sagt für sie 2, 5, 4 und 4 voraus. Wie groß ist der mittlere quadratische Fehler (MSE)?
- An die drei Datenpunkte (x, y) = (1, 3), (2, 4) und (3, 8) wird mit der Methode der kleinsten Quadrate eine Gerade y = ax + b angepasst. Wie groß ist der vorhergesagte Wert bei x = 4?
- Bei einer logistischen Regression wird z = 2x − 4 durch die Sigmoidfunktion σ(z) = 1 ÷ (1 + e^(−z)) geführt, und das Ergebnis wird als Wahrscheinlichkeit ausgegeben, dass der Fall positiv ist. Wie groß ist die Ausgabe bei x = 2?
- Ein Knoten eines Entscheidungsbaums enthält 6 Datenpunkte der Klasse A und 4 der Klasse B. Wie groß ist die Gini-Unreinheit dieses Knotens?
- Welche Beschreibung des Unterschieds zwischen Bagging (Random Forest u. Ä.) und Boosting beim Ensemble-Lernen trifft zu?
- Die Klasse des zweidimensionalen Punkts (0, 0) wird mit dem k-Nächste-Nachbarn-Verfahren vorhergesagt. Die Trainingsdaten bestehen aus den roten Punkten (1, 0), (3, 0) und (0, −3) sowie den blauen Punkten (0, 2) und (−2, 1). Welches Paar von Vorhersagen für k = 3 und k = 5 ist bei euklidischem Abstand richtig?
- Welche Beschreibung der Support Vector Machine (SVM) trifft zu?
- 20 % aller E-Mails sind Spam. Ein bestimmtes Wort kommt in 50 % der Spam-Mails und in 5 % der übrigen E-Mails vor. Welcher Wert liegt der Wahrscheinlichkeit am nächsten, dass eine E-Mail mit diesem Wort Spam ist?
- Welche logische Funktion lässt sich nicht mit einem einfachen Perzeptron darstellen, das nur aus Eingabe- und Ausgabeschicht besteht (ein einzelnes Neuron, das über einen Schwellenwert 0 oder 1 ausgibt)?
- Bei einer Klassifikation mit drei Klassen betragen die Eingabewerte der Softmax-Funktion (Logits) 3, 1 und 0. Etwa das Wievielfache der Ausgabe (Wahrscheinlichkeit) der zweiten Klasse ist die Ausgabe der ersten Klasse? Welcher Wert liegt am nächsten?
- Ein kleines neuronales Netz mit den Eingaben x₁ = 1 und x₂ = 2 hat zwei Neuronen in der verborgenen Schicht, h₁ = ReLU(x₁ + x₂ − 1) und h₂ = ReLU(x₁ − 2x₂ + 1), und die Ausgabe y = 2h₁ + 3h₂ + 1. Welchen Wert hat y?
- Sei p die Wahrscheinlichkeit, die ein Modell für die richtige Klasse ausgibt. Welche Beschreibung des beim Training von Klassifikatoren verwendeten Kreuzentropie-Verlusts −log p trifft zu?
- Beim Gradientenabstieg hat der Gradient des Verlusts ∂L/∂w beim Gewicht w = 2,0 den Wert 0,5, und die Lernrate beträgt 0,1. Wie groß ist das Gewicht nach einer Aktualisierung?
- Die Ableitung dy/dx von y = (2x + 1)² an der Stelle x = 1 wird mit der Kettenregel und u = 2x + 1, y = u² bestimmt. Welcher Wert ist richtig?
- Was ist der Grund dafür, dass sich in einem neuronalen Netz mit vielen gestapelten Schichten die eingangsnahen Schichten schlecht trainieren lassen, wenn als Aktivierungsfunktion die Sigmoidfunktion verwendet wird?
- Ein Modell wird mit 10.000 Trainingsdatenpunkten und einer Mini-Batch-Größe (Batchgröße) von 50 trainiert. Wie viele Gewichtsaktualisierungen gibt es in einer Epoche?
- Wie viele trainierbare Parameter hat eine vollständig verbundene Schicht mit 64 Eingaben und 32 Ausgaben (mit einem Bias je Ausgabe)?
- Ein einkanaliges Bild mit 28×28 Pixeln wird mit einem 5×5-Filter gefaltet (Stride 1, kein Padding), anschließend folgt ein 2×2-Max-Pooling (Stride 2). Wie groß sind Höhe und Breite der Ausgabe?
- Welche Beschreibung rekurrenter neuronaler Netze (RNN) und von LSTM trifft zu?
- Welche Beschreibung der im Transformer verwendeten Self-Attention trifft zu?
- Welche Beschreibung trifft auf Transfer Learning zu, bei dem ein mit großen Datenmengen trainiertes Modell für eine andere Aufgabe mit wenigen Daten genutzt wird?
- Welche Beschreibung von Modellen, die Bilder und ähnliche Daten erzeugen, trifft zu?
- Welche Beschreibung der Art, wie ein großes Sprachmodell (LLM) Text verarbeitet, trifft zu?
- Ein Modell soll aus Bewerbungsunterlagen Einstellungsentscheidungen vorhersagen, wobei frühere Einstellungsergebnisse als richtige Antworten dienen. Worauf ist dabei zu achten?
- Welche Beschreibung erklärbarer KI (XAI) trifft zu?
Weitere Themen in Computersysteme
- Computerarithmetik IEEE 754, Festkomma, Rundungsfehler
- Wahrscheinlichkeitsrechnung, Statistik und Warteschlangen Abzählen, Verteilungen, Schätzen und Testen, M/M/1
- Befehlssatz und Assembler RISC-V, Adressierungsarten, Aufrufkonvention
- Compiler Parsing, SSA, Optimierung, Registerzuteilung
- Linker, Loader und ausführbare Formate ELF, Symbole, Relokation, dynamisches Linken
- Betriebssystem und Hardware Interrupts, Systemaufrufe, Page Faults
- Grundlagen von Linux und der Kommandozeile Shell, Zugriffsrechte, Pipes, Skripte
- Speicherhierarchie und Leistung Cache, Ersetzungsstrategie, drei Miss-Arten
- Multicore und Synchronisation MESI, atomare Befehle, Memory Barriers
- GPU-Programmierung Warps, Shared Memory, Coalescing, Occupancy
- KI-Hardware und Software-Stack Inferenz vs. Training, Quantisierung, Roofline
- Embedded Systems und Firmware GPIO, UART/SPI/I2C, RTOS
- Hardwarebeschreibungssprachen und Verifikation Verilog, Latches, Zustandsautomaten, Testbench
- Schnittstellen und Busstandards PCIe, USB, SerDes, CXL
- Grundlagen der Computernetzwerke TCP/IP, Subnetzberechnung, DNS, TLS
- Grundlagen der Webtechnologien HTTP, Cookies, REST, CORS, Caching
- Grundlagen der Funkkommunikation Modulation, OFDM, MIMO, HF-Schaltungen
- Grundlagen der Informationssicherheit Kryptografie, Authentifizierung, Webangriffe
- Grundlagen der Datenbanken SQL, Normalisierung, Transaktionen
- Datenstrukturen und Algorithmen Komplexität, Suche, Sortieren, Graphen
- Grundlagen der Programmierung (Pseudocode nachverfolgen) Pseudocode, Tracing, Arrays, Rekursion
- Grundlagen der Programmiersprache C Zeiger, Speicher, undefiniertes Verhalten
- Softwareentwicklung und Projektmanagement Prozesse, Tests, Termin- und Kostensteuerung
- Grundlagen von Unternehmensstrategie und Rechnungswesen Rechnungswesen, Break-even, Strategie, Marketing
- IT-Service-Management und IT-Audit SLAs, Incidents und Probleme, Audit und interne Kontrolle
- Systemarchitektur und Zuverlässigkeit Redundanz, RAID, Backups, Cloud
- Leistungsbewertung und Profiling Amdahlsches Gesetz, CPI, Engpässe
- Hardwaresicherheit Seitenkanäle, Secure Boot, TEE, PUF
- Energieverwaltung (softwaregesteuert) DVFS, Power Gating, Schlafzustände