Harvester

Der Harvester besitzt eine Liste aller Quellen bzw. deren Feeds (RSS- und Atom Feeds, Sitemaps und JSON Feeds) und crawlt diese periodisch.

Aus welchen Quellen genau bezieht DeepNews seine Nachrichten?

DeepNews scannt alle Artikel aller wichtigen Medien/Publikationen, soweit diese ihre Nachrichten per Feed veröffentlichen.

Hierzu zählen nicht nur die sogenannten 'Leitmedien', wie etwa FAZ, Spiegel oder die New York Times, sondern genauso Lokalzeitungen oder wichtige Blogs wie etwa 9to5.

Hinweis: Sollte ein Medium/Zeitung/wichtiger Blog fehlen, so freuen wir uns, wenn Du uns diese Quelle per URL und am besten zusätzlich mit Feed, mitteilst.

Wie oft scannt (crawlt) DeepNews eine Quelle?

Es gibt Quellen, die sehr viel publizieren und Blogs, die nur wenige Male je Woche einen neuen Artikel veröffentlichen. DeepNews identifiziert je Quelle die Frequenz, mit der diese publiziert und adaptiert sich entsprechend.

In eigener Sache: Crawler tragen zu einem beachtlichen Teil des Traffics von Webseiten bei. Wir versuchen, diese Belastung minimal zu halten, um entsprechend sparsam und respektvoll mit öffentlichen Zugängen und Server-Kapazitäten umzugehen, ohne jedoch wichtige Neuigkeiten zu verpassen.

Wie ordnet DeepNews den Nachrichten Kategorien zu?

Die in DeepNews verwendeten Kategorien sind durch DeepNews vorgegeben.

Bei vielen Artikeln erschließt sich die Kategorie über die URL oder die des übergeordneten Feeds direkt. Bei anderen Artikel 'lernt' DeepNews über die thematische Gruppierung (Clustering) zu welchen Kategorien ein Artikel gehört.

Wie geht DeepNews mit Duplikaten um?

Viele Artikel basieren auf Agentur-Meldungen und werden meist nur leicht paraphrasiert von diversen Quellen veröffentlicht. DeepNews erkennt AI- und NLP-basiert Duplikate, auch wenn sie mehr oder weniger gut paraphrasiert sind und fasst sie zu 'einem' Artikel zusammen.

Wichtig: Duplikate erhöhen nicht die Relevanz eines Themas.

Wie geht DeepNews mit von Medien Konglomeraten veröffentlichen Nachrichten um?

Da DeepNews mit hoher Sicherheit gleiche oder sehr ähnliche Artikel erkennt, kann DeepNews Quellen identifizieren, deren Artikel z.B. von übergeordneten Medien Häusern als sog. 'Mantel’-Artikel ihren diversen Lokal-Zeitungen zugespielt werden.