12

Internet Web Applications (Fach) / 4)Web Search and Web Crawling (Lektion)

Jawoll!

Diese Lektion wurde von Sogn erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

Anzeige
  • Was ist ein Webcrawler? Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert und herunterlädt. Diese können dann in Datenbanken gespeichert werden. Webcrawler werden vor allem von Suchmaschinen zur Indexierung von Webseiten eingesetzt.
  • Warum benötigt man Webcrawler? Aufgrund der selbstorganisierten Art des Internets (Keine zentrale Datenbank aller Seiten) benötigt man Webcrawler um das Web zu durchsuchen. Webcrawler findet man aber auch überall wo Information Retrieval notwendig ist.
  • Wie ist die Funktionsweise eines Webcrawlers? Web Crawler bekommt eine Liste von URLs, welche besucht werden können (seed URIs) und lädt diese runter Web Crawler besucht diese Seiten und speichert all dessen Hyperlinks ebenfalls in die Liste (frontier) und lädt diese runter Dann werden die pages gespeichert für mögliche Weiterverarbeitung (Datenbank) Der Webcrawler terminiert, wenn der Frontier leer ist und keine rekursive Aufrufe der Hyperlinks mehr erfolgen
  • Welche zwei Algos gibt es für Webcrawling? BFS Durchsuche erst alle benachbarten Seiten der ersten Seite der Liste (Hierarchisch) Alle URIs auf einer Liste einreihen Sofern keine neuen Nachbarn mehr vorkommen, nehme das erste Element der Liste und starte von vorn DFS Gehe so tief in die Seite wie möglich (Jeden Hyperlink) Die neue Page wird dann die momentane Page Backtracking bei Sackgassen
  • Wie funktioniert Link Extraction? 1) <a> und hrefs ausfindig machen 2) Filtern von irrelavanten Daten (keine PDFs zB.) 3) Transformieren in die Normalform 4) UI kommt auf die Froniter, wenn noch nicht vorhanden
  • Wie funktioniert das Umwandeln eines Links in Normalform? Um die kanonische Form zu erhalten müssen die Links transformiert werdenDies beinhaltet: Entfernung von Ports (:123) index.html entfernen, da startseite (Generell für Startseiten) Fragment Identifier löschen (#latest) Character Encoding (%7EUSER -> ~user) Groß und Kleinschreibung (aber nicht /x.html, da case sensitive!)
  • Wie lautet die Formel für Teram Frequency Inverse Document Frequency (TFIDF)? TFIDF gibt an, wie wichtig ein Wort innerhalb eines Dokuments innerhalb einer Dokumentensammlung ist TFIDF = TF * IDF wobei TF = Vorkommen gesuchtes Wort/Anzahl aller Wörter IDF = Anzahl aller Dokumente/Dokumente welche gesuchtes Wort enthalten Wenn mehrere Wörter gesucht sind bildet man die Summe der TFIDF.
  • Warum wird TFID nicht für Web Dokumente benutzt? Weil TFID Content-based ist und leicht manipulierbar wäre.
  • PageRank Formel! PageRank (p) = d / |T| + (1-d) * Summe aus (Pagerank q/outdegree(q)) d = Wahrscheinlichkeit, dass der Surfer diese URI in die Adresszeile eingibt T = Anzahl Dokumente der Menge (1-d) = Warhscheinlichkeit, dass der Surfer die URI über einen Hyperlink erreicht outdegree = Anzahl der Links am Output
  • Was sind Sitemaps und wo benötigt man sie?  Suchmaschinen-Algorithmen über Unterseiten informieren Verbesserung der Suchresultate
  • Anzeige
  • Wozu dient das Indexing? ausgelesenen Inhalt kategorisieren, um z.B. für Such-Anfragen eMzient zugänglich zu machen-> eine Informationsbasis, die aus einer Sammlung von Dokumenten generiert wird
  • Was sind Nachteile von TFIDF?  Qualität des Inhalts wird nicht berücksichg (nur AuPretenswahrscheinlichkeit von Begri8en) Ergebnis nicht in Kontext des gesamten Webs gesetzt-> Verlinkungen auf eine Seite als Relevanz und Popularität sehen

zurück  |  weiter 1 / 1