Wat is een Data Harvester?
Harvesters importeren datasets van externe bronnen in een CKAN-instantie. Dit wordt gedaan door de metadata van deze externe bron te mappen naar CKAN-metadatavelden.
CKAN gebruikt de (ckanext-harvest) extensie, die een interface biedt voor het bouwen van aangepaste harvester. Deze interface heeft drie fasen:
- De gather-fase verzamelt alle resource-ID's die in de volgende fase moeten worden opgehaald.
- De fetch-fase haalt de inhoud van de objecten op afstand op en slaat ze op in de database.
- De fase import voert alle noodzakelijke acties uit bij de opgehaalde bron.
Specifieke documentatie over de CKAN Remote Harvesting extensie is hier te vinden
Soorten harvesters
Dataplatform biedt de volgende opties om data te harvesten:
- CKAN harvester
- JSON DCAT harvester
- Generieke DCAT RDF harvester
- Civity CSW-server harvester
CKAN harvester
- De CKAN Harvester is een voorbeeld van een custom harvester. Met deze harvester kun je data van een externe CKAN-instantie importeren in jouw eigen CKAN-instantie.
JSON DCAT-harvester
De JSON DCAT Harvester is een plug-in die deel uitmaakt van de DCAT-extensie ckanext-dcat. Met deze harvester kun je JSON-objecten importeren op basis van DCAT-metadatavelden en deze DCAT-metadatavelden mappen op CKAN-velden.
Ga naar CKAN-documentatie JSON DCAT Harvester
Generieke DCAT RDF Harvester
- Deze harvester is een andere custom harvester die deel uitmaakt van de DCAT-extensie.
Civity CSW Server
- Dit is een custom harvester van Civity om CSW's te harvesten.