44

Machine-Learning (Fach) / Kapitel 1-6 (Lektion)

Diese Lektion wurde von sodikama erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• Finden SVMs bessere Klassengrenzen als die bisher behandelten diskriminativen Modelle? Ja, denn sie ermitteln die optimale Grenze, welche den minimalen Abstand zu den Trainingsdaten hat.
• Welche Bedeutung hat der Parameter C vor dem Regularisierungsterm? sehr großes C  :  Modell passt sich stärker den Trainingsdaten an, da man mehr Wert auf die                               Minimierung des Fehlers legt sehr kleines C:   Man legt mehr Wert auf die Minimierung der Gewichte und reduziert die Gefahr                          von Overfitting
• Warum ist eine Komplexität proportional zur Anzahl N der Trainingsvektoren besser als eine Komplexität proportional zur Anzahl d der Dimensionen des Featureraums? Bei SVMs werden die Daten in einer höherdimensionalen Raum transformiert, was bei vielen Parametern extrem Performance kostet. Zudem ist die Anzahl der Trainingsvektoren N besser kontrollierbar und selbst wählbar.
• Was versteht man unter dem Kernel-Trick? Man ersetzt das Skalarprodukt durch die Kernel-Funktion K(xp, x) = (x^T * xp +1)^q , welches das Ergebnis simuliert, ohne die Daten tatsächlich in einer höherdimensionalen Raum zu transformieren (Siehe SVMs)
• Wie evaluiert man einen SVM-Klassifikator, bzw. allgemein einen Klassifikator? Einen Klassifikator evaluiert man mit einer Confusion-Matrix, bei der man Accuracy / Precision und Recall berechnet. Accuracy / Precision  = Anzahl richtig klassifizierter Merkmale : Anzahl aller Merkmale, z.B.  90% Recall = wie oft eine Klasse ausgegeben werden sollte (SOLL) : wie oft eine Klasse insgesamt ausgegeben wurde (IST)
• Wann ist die Bestimmung der Accuracy irreführend? Wenn die Trainingsdaten nicht ausbalanciert sind, d.h. z.b 99x Klasse 1, 1x Klasse 2  ---> 99% Accuracy für Klasse 1, aber erkennt nicht die zweite
• Inwiefern steckt Regularisierung in der SVM? Man minimiert nicht nur den Fehler, sondern auch die Gewichte. Regularisierung ist von Anfang an inbegriffen und über den Hyperparameter C steuerbar.
• Warum sind Regression-SVMs (SVR) im Fall von Ausreissern besser als die lineare Regression? Bei SVRs tragen die Ausreißer nur linear zum Gesamtfehler bei, wenn Elemente außerhalb der Epsilon-Tube liegen. Bei SVMs tragen alle Elemente linear dazu bei. Die duale Form Fehlerfunktion bei SVMs hat beide Fälle abgedeckt, sie berücksichtigt Elemente innerhalb und außerhalb des Schlauches separat.
• Wie wirkt sich die Erhöhung des Parameters Epsilon in einer SVR aus? Mit Epsilon wächst der Radius des Schlauches, wodurch Overfitting reduziert wird. Übertreibt man es jedoch, kommt es zu Underfitting.
• Wie kann mit Regressionsverfahren, wie z.B. der SVR, die Entwicklung einer Zeitreihe vorhergesagt werden? Mithilfe einer Featurematrix, welche als Eingabewerte die bisherigen Werte hat und anhand von diesen eine neue Eingabe berechnen kann.
• Anzeige
• Was ist dabei bei der Konstruktion der Eingabevektoren zu beachten, wenn der Vorhersagehorizont mehr als eine zukünftige Zeiteinheit enthält? Je weiter die Vorhersage in die Zukunft führt, desto unsicherer wird sie. Der Grund dafür ist, dass mit wachsendem, zeitlichen Abstand zu den Trainingsdaten immer mehr eigene Schätzungen der vorherigen Zeitpunkte  mit in die Vorhersage mit einfließen.
• Was sind Support-Vektoren? Es sind bei SVRs Trainingselemente, bei denen einer der beiden Lagrange-Koeffizienten α und a^ nicht gleich null ist. Sie liegen also auf der Schlauchgrenze oder außerhalb davon.
• Worin unterscheiden sich diskriminative und generative Modelle? Was wird beim diskriminativen Klassifikator gelernt, was beim generativen Klassifikator? Generative Modell lernen klassenspezifische Verteilungsfunktionen. Diskriminative Modell lernen Klassengrenzen in Form von Hyper-Ebenen.
• Bei Linearer Diskriminanz, welchen Beitrag liefert der Mensch, welchen der Lernalgorithmus? Der Mensch nimmt einen Typ an Verteilungsfunktion bzw. Klassengrenze an. Der Algorhytmus lernt innerhalb dieses Typs die besten Parameter bzw. Diskriminanten.
• Was ist eine Diskriminante? Diskriminanten sind Funktionen, in die Eingabewerte gegeben werden. Der berechnete Funktionswert ist die Basis für eine Klassenunterscheidung.
• Von welcher Form sind die Klassengrenzen eines linearen diskriminativen Klassifikators, der mehr als 2 Klassen unterscheiden muss? Die Klassengrenzen sind konvex, also gebogen.
• Wie kann mit diskriminativen Verfahren Zuverlässigkeitsinformation - in Form der a-posteriori Wahrscheinlichkeit - mit ausgegeben werden? Bei K=2 Klassen : Indem man die gewichtete Summe A am Eingang des Neurons auf die                                      Aktivierungsfunktion Sigmoid gibt. (Lineare Regression) Bei K>2 Klassen: Indem man die gewichtete Summe A am Eingang des Neurons auf die                                        Aktivierungsfunktion Softmax gibt. (Maximale Entropie) Es ergibt sich für jede Klasse am Ende ein Wert zwischen 0 und 1, der höchste Wert wird ausgesucht und man kann zusätzlich mit ausgeben, wie sicher sich der Klassifikator ist(in Prozent) . 
• Was ist logistische Diskriminanz? Von welcher Annahme wird hier ausgegangen? Bei logistischer Diskriminanz nimmt man an, dass das Log-Likelihood-Verhältnis zumindest annähernd linear ist ( trifft meist zu). Zusätzlich zur Klasseneinteilung wird noch eine Zuverlässigkeitsinformation mitgegeben. z.b. Bild klassifizieren: 80% Baby 10% Plastiktüte 9%   Peter Maffay 1%   Hitler
• Wie unterscheiden sich die Klassengrenzen eines linearen und eines logistischen Diskriminators, wenn beide durch die gleichen Parameter wi definiert werden? Die logistischen Klassengrenzen geben zusätzlich noch Zuverlässigkeitsinformation.
• Wie werden lineare und logistische Diskriminanten in neuronalen Netzen eingesetzt? Lineare Diskriminanten werden als Klassifikatoren eingesetzt. Logistische Diskriminanten werden in allen Dense-Layern beim Output von Neuronen verwendet.
• Was könnten -Task T -Performance Measure P -Experience E im Fall eines Spamfilters sein? Task T = Spam erkennen Experience E = bisher gefilterte, sowie vom Nutzer als Spam gekennzeichnete Mails Performance Measure P = Mit welcher Genauigkeit und wieviel Spam gefiltert wird
• Mit welcher Art von Wissen tut sich die KI schwer? - Kausalitäten ( ist nicht gleich Korrelation) - zusammenhängende Weltmodelle, Wissen sinnvoll im Gesamtbild verknüpfen ("gesunder Menschenverstand")
• Was ist ein Modell in Machine Learning? Allgemein: Ein vereinfachtes Abbild der Wirklichkeit ML: Output = f(Input) Ein Modell beschreibt eine Abbildung von Eingabe auf Ausgabe.  Ein Computerprogramm, welches Erfahrung E durch Ausführen der Aufgaben T erhält, was in der Performance P gemessen werden kann. Seine Performance P in den Aufgaben T steigt mit der Erfahrung E.
• Was ist induktives Schließen? Aus spezifischen Samples an (Trainingsdaten) ein allgemeines Modell zu lernen.
• Was ist Lernen mit Lehrer bzw. mit Kritiker? Supervised Learning:  Für jedes Trainingselement existiert ein korrektes Label r.  Lehrer: Gibt konstant Feedback, ob eine Entscheidung richtig oder falsch ist. Kritiker:  Gibt sporadisch nach mehreren Etappen negatives oder positives Feedback.
• Was kann überwacht, bzw. unüberwacht gelernt werden? Wie kann dann bestärkendes Lernen eingeordnet werden? Überwacht: Klassifikation und RegressionUnüberwacht: Assoziation zwischen Instanzen und Merkmalen (Ähnlichtkeitsbeziehungen) und                         Clustering Man kann die Bestärkung sehen, als eine Strategie, die dem Algorithmus mitgegeben wird.
• In welcher Form werden die Daten für das maschinelle Lernen in der Regel strukturiert? In Form von numerischen Vektoren, die gleich lang sind. Man strukturiert die Daten tabellarisch, die Merkmale xk werden nacheinander aufgelistet und am Ende der Soll-Wert r. Nach unten sind es dann insgesamt n Instanzen, welche jeweils alle Merkmale und einen Soll-Output haben.
• Von welchen Faktoren hängt die notwendige Anzahl der Trainingsdaten ab? Sie hängt ab von: - der Komplexität des Modells- der Anzahl der Merkmale und zu lernenden Parametern- sowie der Varianz der Daten. Gegenmaßnahmen bei zu wenig Trainingsdaten: a) vorsichtige Auswahl der Merkmale und Trainingsamplesb) andersweitig vortrainierte Modelle nutzenc) Augmentation (künstliche Variablen erzeugen)
• Worin besteht der Unterschied zwischen Regression und Interpolation? Interpolation geht so genau wie möglich durch die Punkte der Trainingsdaten, Regression geht von verrauschten Trainingsdaten aus und nähert sich diesen nur an.
• Wie findet man zu gegebenen gelabelten Daten das beste Modell? Man validiert es mit einem Anteil der gelabelten Daten. Das Modell bekommt Input aus den TD, generiert einen Output, dieser wird dann mit dem Label verglichen. Danach versucht man durch Anpassung der Gewichte den Fehler zu minimieren. Die Validierungsdaten mit der geringsten Fehlerquote beinhalten das beste Modell. 
• Anzeige
• Was versteht man unter “Curse of Dimensionality”? Komplexere Modelle werden mit unzähligen Parametern beschrieben. Je mehr Parameter gelernt werden müssen, umso expotentiell mehr gelabelte Trainingsdaten benötigt man.
• Welcher generative Klassifizierer ist extrem weit verbreitet? Der Naive Bayes Classifier, bei dem man davon ausgeht, dass N diskrete Merkmale statistisch unabhängig sind. 
• Was ist Maximum-Likelihood Parameterschätzung? Man schätzt die Parameter einer Verteilungsfunktion so, dass die gegebenen Trainingsdaten mit maximaler Wahrscheinlichkeit generiert werden.
• Wie kann mit linearer Regression eine quadratische (oder beliebigen Grades) Funktion gelernt werden? g = w0 + w1 *( x1^1) + w2 *( x2^2) + ... + wn *( xn^k) Die Eingabewerten müssen in ihrer Matrix bei k+1 Spalten quadriert werden, mit Ausnahme der diagonalen Werte.
• Unter welcher Bedingung können die Maximum Likelihood Parameter eines linearen Modells durch Minimierung des Mean Square Error ermittelt werden? Wenn der Fehler, bzw. das Rauschen n gaußverteilt ist.
• Nach welchen “Variablen” werden beim maschinellen Lernen Fehlerfunktionen abgeleitet? Sie werden nach den Gewicht Koeffizienten wk abgeleitet.
• Wann sollte parametrische Klassifikation nicht angewandt werden? Wenn kein Verteilungstyp angenommen werden kann.
• Wann sollte lineare Regression nicht angewandt werden? Welche Algorithmen bieten sich dann als Alternative an? Wenn die Varianz zu groß ist, bzw. der Fehler gaußverteilt ist. Ansonsten quadriert sich der Fehler im Mean-Square-Error. Dann bietet sich beispielweise der RANSAC Algorithmus an, der beim Minimum der TDs beginnend mithilfe von Geraden durch immer zwei Datenpunkte einen Schlauch bildet für verbesserte parametrische Regression.
• Worin besteht das allgemeine Prinzip der Gradient Descent Lernverfahren? Beim Gradientenabstiegsverfahren wird eine aufgestellte Fehlerfunktion abgeleitet, wonach sie gleich null gesetzt wird und die Gewichte iterativ in Richtung der negativen Ableitung ( Minimum) angepasst werden.
• Welche Voraussetzung muss die Fehlerfunktion für das GAV erfüllen? Sie muss ableitbar sein.
• Worin besteht der Unterschied zwischen Stochastic Gradient Descent und Gradient Descent? Beim GAV werden alle Trainingselemente für die Gewichtsanpassung berücksichtigt (Batch-Lernen) , beim SGAV nur ein einziges Trainingselement (Online-Lernen). Ein Kompromiss aus beidem bietet Mini-Batch-Lernen, bei der alle TD in gleichgroße Batches für jede Gewichtsanpassung aufgeteilt werden.
• Nennen Sie einen Hyperparameter für Gradient Descent Learner. Lernrate η Generalisierungsgewicht λ L1/L2-Norm Anzahl Iterationsepochen t Minibatch-Size
• Was versteht man unter Regularisierung? Was wird damit erreicht? Regularisierung versucht ein Modell besser zu generalisieren, indem nicht nur der Fehler sondern auch die Gewichte minimiert werden. Dies geschieht durch Addition des Regulariserungsterms λ/2 * ∑ wi^2 Dadurch werden Ausreißer eliminiert und es ergibt sich eine glattere Kurve.
• Was ist Kreuzvalidierung? Man unterteilt die Trainingsdaten in  n Partitionen und pro Iteration eine von ihnen zur Validierung der restlichen Daten. Es werden also alle TDs n-1-mal benutzt. Dann bildet man aus allen Fehlerraten den Mittelwert. 

zurück  |  weiter 1 / 1