Intermediate Python voor Data Engineers
Leer je hoe je veelvoorkomende Data Engineering-taken in Python uitvoert: van het inladen van veelvoorkomende bestandsformaten tot het ontsluiten van API's en het opslaan en later inladen van ML-modellen.
Introductie JSON
Werken met JSON-bestanden
json.dump en json.dumps
Demo: werken met json.dump
Opdracht: werken met dump, dumps, load en loads
Informatie uit JSON halen
Opdracht: Informatie uit JSON halen
Complexere (geneste) JSON verwerken in Python
Opdracht: complexere (geneste) JSON verwerken
Uitwerking opdrachten
Overzicht van deze module (API's)
Wat is een API?
Zelf API's aanroepen
API's benaderen met Python requests
Opdracht: Zelf API's bevragen met Python Requests
Typen requests in API's (GET, PUT, POST, ...)
Opdracht: werken met verschillende typen requests
Parameters meegeven aan API's
Opdracht: Parameters in API's
Uitwerking opdrachten: API's
Overzicht van deze module (XML)
Voorbereiding: XML-bestanden
Wat is XML?
De ElementTree library gebruiken
Opdracht: ElementTree gebruiken
XPath
Opdracht: Complexe(re) XML operaties met XPath
Opdracht: XML bestanden parsen
Uitwerkingen
Introductie Operating Systems en filesystems
Opdracht: Werken met bestanden
Windows-systemen
Unix, Linux en Mac OS systemen
Opdracht: werken met de os-library
Handige Python-libraries voor het werken met bestanden
Opdracht: werken met bestandspaden
Demo Pathlib-module
Opdracht: de pathlib-module
Uitwerking opdrachten os en filesystem
Introductie Pickle
Demo: Pickle gebruiken
Opdracht: werken met pickle-bestanden
Waarom zou je Pickle gebruiken?
Opdracht: de Python pickle-module
Performance van pickle vs csv
Opdracht: performance van Pickle verglijken
Performance-vergelijkingen in Python
Pickle inzetten voor getrainde ML-modellen (intro)
Opdracht: Pickle inzetten voor ML-modellen
Uitwerkingen van opdrachten
Pickle - afronding module
Introductie Module (Azure Blob Storage)
Wat is Azure Blob/Container Storage
Voorbereiding op de opdrachten
Voorbereiding: Blob Storage vullen
Demo: werken met Azure Blob Storage
Opdracht: Werken met Azure Blob Storage
Uitwerking: Werken met Azure Blob Storage
Azure Blob Storage 4 afronding