19
Intelligente Systeme (Subject) / Decision Trees and Instanced Based (Lesson)
Advertisement
- Wie berechnet man die Entropie von T (Beispielmenge) ? Dabei betrachtet man zuerst die Anzahl der Target Classes (zB. Wahr, Falsch = 2 Targetklassen) Dann schaut man wie die Kombinationen von Attributen (Beispiele) auf die Target Classes verteilt sind (zB. 10x Wahr, 4x Falsch, insgesamt dann 14 Beispiele)Einsetzen in die Formel -> -10/14 * log2(10/14) - 4/14 * log2(4/14)Dies ergibt dann die Entropie der Beispielmenge H(T).
- Wie berechnet man die Restentropie (T)? Man betrachtet von dem Attribut, von welchem man gerade die Restentropie berechnet, die Aufteilung der verschiedenen Attributarten. Wenn man zB. das Attribut "wie voll?" betrachtet in der Beispieltabelle 7x sehr, 3x bisschen und 2x leer vorkommt so summiert man die einzelnen Wahrscheinlichkeiten, multipliziert mit der Entropie von Ti. Also hier 7/12 * H(Ti) + 3/12 * H(Ti) + 2/12 * H(Ti)Formell die Summe aus Ti/T * H(Ti)
- Wie berechnet man den Information Gain eines Attributes? 1) Entropie der gesamten Beispielmenge berechnen 2) Restentropie des gesuchten Attributes berechnen 3) IG = H(T) - R(T) Das Attribut mit dem höheren Information Gain wird dann für die nächste Splittung ausgewählt
- Was sind Eingabe und was Ausgabe bei den Decision Trees? Eingabe sind Diskrete Attribute, welches auch die Knoten im Baum entsprechen.Ausgabe sind diskrete Klassifizierungen (oder booleansche Werte) , also die Blätter. (Target Classes)
- Wie geht man beim Divide and Conquer Algorithmus vor? 1) Wichtigstes Attribut suchen, welches am entscheidensten ist (zB. Wetter kacke) 2) Die Beispiele so aufteilen, dass sie nur in negative oder positive Mengen zerfallen (idealerweise) 3) Bilden eines linken und rechten Teilbaums, welcher fortgeführt wird
- Wie bestimmt man das wichtigeste Attribut? Indem man den IG für jedes Attribut berechnet.
- Wie berchnet man die Entropie von T i ? Entropie Ti Man benötig diese normal für die Restentropie. Hier hat man bereits die Attributenverteilung angegeben (Ti/T). Nun schaut man, auf welche Zielklasse (zB. wahr, falsch), diese Attributart abbildet und wie oft sie das tut. Beispiel : Betrachtetes Attribut :Wie voll ? Zielklassen: Ja, Nein, VllMomentane Attributart: "Sehr voll"Nachdem man zB. herausgefunden hat, dass 6/12 mal Wie voll auf "Sehr voll" abgebildet wurde, berechnet man die Entropie für "Sehr voll"Das bedeutet man betrachtet die Verteilung von Sehr voll auf die einzelnen KlassenIst Sehr voll nun 3x bei Ja, 2x Nein und 7x bei Vll vertreten , so berechnet man die Entropie (Ti) = H (3/12,2/12,7/12)Dies wäre dann-3/12 * log2 (3/12) - 2/12....
- Wann ist H(T) = 1 ? Wenn die Beispiele auf die Zielklassen gleich verteilt sind. (zb. 2/6, 2/6, 2/6)
- Warum gibt es Machine Learning? Nicht jedes Szenario ist vorrausehbar Nicht jede Änderung ist vorraussehbar Programmier wissen selbst nicht, was die beste Lösung ist
- Wie funktioniert Machine Learning? Man hat ein Wertepaar aus Input und Outputs (x,y). Nun versucht man anhand der Input und Output Werte eine Funktion zu bestimmen, welche den Output in Zukunft vorraussagen kann, sofern dies möglich ist.
- Advertisement
- Welche Lernformen gibt es bei Machine Learning? Die Lernformen unterscheiden sich dahingegen, ob der Output bekannt ist. Überwacht, genauer Output ist bekannt -> Feedback Nicht überwacht, kein Output bekannt -> kein Feedback, Clustering und Zusammenhänge der Ergebnisse erkennen Reinforced -> teilweise Feedback
- Wozu sind Decision Trees da? Vor und Nachteile? Dient dazu, wie ein Agent unter gewissen Umständen zu handeln hat. (Regelwerk) Vorteil: übersichtlich, easy Nachteil: Reihenfolge der Attribute unklar, Overfitting (Überanpassung)
- Unterschied Regression und Classification? Regression: unendliche Menge von Werten, zB. Anzahl, Fläche Classification: diskrete, konkrete Werte aus einer Menge, zB. Wahrheitswert (Ja, Nein)
- Wie funktioniert Instance Based Learning? Trainingsdaten (x,y) werden beibehalten und in einer Datenstruktur gespeichert. Können dann mit einer Funktion aufgerufen werden.Vorteil: schnell, da kein Lernen notwendig Nachteil: Mehr Speicher nötig, langsam bei ungesehenen Daten
- Wie lautet die Distanzfunktion? d(xi, xj) = √ k Summe von (xik - xjk)2
- Was ist Clustering? Eine Methode des Unüberwachten Lernens.Dabei werden alle gegebenen Werte in einem Diagramm in Cluster mit ähnlichen Attributen unterteilt. Was aber zusammengehört , ist manchmal auch subjektiv.
- Wie normalisiert man Daten bei KNN? X Wert Maximum und Minimum ansehenBerechne X - Xmin / Xmax - Xmin analog zu YNeue Werte dann für die alten ersetzen
- Wie ist die Vorgehensweise bei k-means Clustering? 1) Wähle k 2) Wähle ein k-zufällige Clusterzentren 3) Ordne alle x zum Cluster mit dem nähsten Zentrum zu 4) Berechne die Clusterzentren neu (Platzier sie in die Mitte der Cluster) 5) Wiederhole solange bis sich die Zentren nicht mehr ändern
- Wie funktioniert der Recursive Split Algorithmus? Ziel : Erstellung eines Decision Trees Nach Split gibt es vier Möglichkeiten: 1) Alle übrigen Beispiele gehören zu einer Klasse ->Blattknoten mit Klasse labeln 2) Beispiele bestehen aus einer Mischung von Klassen -> Split mit neuem Best Attribute 3) Keine Attribute mehr -> Knoten mit der Mehrheitsklasse der restlichen Beispiele labeln 4) Keine Beispiele übrig Knoten mit Mehrheitslabel der Beispiele der Parents labeln