Master theses

Linked-data processing met Solid en Apache Nifi op schaal

Keywords: Linked Data, Semantic Web, Solid, Apache Nifi, orchestration

Supervision: Ruben Verborgh Pieter Heyvaert

Students: max 1

Het Mellon Project en IDLab Vlaanderen project zal linked data op vele W3C Solid pods beschikbaar stellen. Op basis van deze datasets zullen externe service providers dienstverlening kunnen doen. In het bijzonder kunnen er lang lopende computations op deze datasets nodig zijn. De huidige Solid clients focussen zich vooral op browser based processing van data. Er is een nood aan server side processing en een experimenteel dataverwerkings platform om datasets op een automatische wijze te verwerken en verrijken. Binnen het Mellon team is voor Apache Nifi gekozen als flow based omgeving om aan data verwerking te doen. Met Nifi kunnen kleine componenten gebouwd worden die delen van de data verwerking doen. Deze componenten kunnen gecombineerd worden tot complexe data flows.

Standaard worden in Nifi alleen componenten aangeboden die met JSON, CSV, en vele andere niet linked data structuren werken. Er is een nood aan componenten die specifiek op link data formaten werken:

  • Onderhouden van lang lopende geauthenticeerde sessies tegen Solid pods
  • Extracten van velden uit linked data
  • Converteren van formaten
  • Mapping van velden
  • Querying van data
  • Validatie van data
  • Reasoning op data