Hallo! Iedereen die op kantoor werkt, zal zich kunnen inleven in de frustraties van herhaalde Excel-taken. Vooral bij taken zoals het invoeren van boekhoudgegevens in een ERP-systeem, waar veel getallen en nauwkeurigheid van essentieel belang zijn, kan het tijdrovend zijn en bestaat er een groot risico op fouten. Ik heb ook deze pijn ervaren en heb mijn eigen Python pandas automatiseringsscript gemaakt, waardoor ik mijn werktijd drastisch heb kunnen verkorten. Wat vroeger uren duurde, is nu in een mum van tijd gedaan, zodat ik de vervelende boekhouding snel kan afhandelen en meer tijd heb om me te concentreren op mijn favoriete taken.

Beperk dit tot alleen boekhoudtaken? Absoluut niet. In feite is pandas een magisch hulpmiddel dat in elke datagestuurde omgeving kan worden gebruikt. Hoewel de mate van Excel-gebruik in verschillende sectoren verschilt, zijn er nauwelijks plekken waar Excel volledig niet wordt gebruikt. Dat laat zien hoe essentieel spreadsheets zoals Excel zijn in moderne werkzaamheden, en ik durf te beweren dat de toepassingen van pandas eindeloos zijn.

Laten we nu in detail bekijken in welke situaties pandas je kan helpen om je werk efficiënter te maken en hoe.

Wat is pandas?

pandas is een open-source bibliotheek in Python die is geoptimaliseerd voor het efficiënt beheren en analyseren van data. Het is bijzonder goed geschikt voor tabelvormige data (spreadsheets, databasetabellen, etc.) en biedt krachtige functies om Excel-bestanden (.xls, .xlsx) te lezen en te schrijven. De kern van pandas is de DataFrame-datastructuur, die het gemakkelijk maakt om tabelvormige data, net zoals in een Excel-blad, te beheren.

Waar kan pandas nog meer voor gebruikt worden, behalve boekhouding?

Net als in mijn ervaring is pandas een krachtig automatiseringshulpmiddel dat in verschillende werkgebieden kan worden gebruikt, naast het verwerken van boekhoudgegevens.

pandas automating spreadsheet for worker

1. Data Cleaning en Voorverwerking

Data komt meestal in een rommelige staat bij ons binnen. Ontbrekende waarden, dubbele rijen, onjuiste datatypes, enzovoort! pandas biedt uitstekende functies om deze problemen op te lossen.

  • Omgaan met ontbrekende waarden: Vindt lege cellen (NaN, None, enz.) en kan deze invullen met specifieke waarden (bijvoorbeeld: fillna()), of kan rijen/kolommen verwijderen (dropna()).

    • Voorbeeldtoepassing: In klantonderzoekgegevens kunnen niet-beantwoorde vragen ingevuld worden met 'niet beantwoord', of klantgegevens met ontbrekende essentiële informatie kunnen gefilterd worden om een lijst met verificatieaanvragen te maken.

  • Verwijderen van dubbele data: Vindt en verwijdert dubbele rijen om de integriteit van de data te waarborgen (drop_duplicates()).

    • Voorbeeldtoepassing: Tijdens het aanmelden kan een functie dubbele e-mailadressen filteren, of kan dubbele geregistreerde voorraaditems worden samengevoegd om het nauwkeurige aantal op voorraad te berekenen.

  • Datatypes omzetten: Zet gegevens die als tekst worden herkend om in de juiste datatype (bijvoorbeeld: astype(), to_datetime()).

    • Voorbeeldtoepassing: Als omzetgegevens als tekst zijn opgeslagen en dus niet kunnen worden opgeteld, kan deze worden omgezet naar een getal, of kan '20230101' worden omgezet naar een werkelijke datum om periodieke analyses te vergemakkelijken.

  • Detectie en behandeling van uitschieters: Identificeert uitschieters in de data met behulp van statistische methoden (IQR, Z-score, enz.) en kan deze verwijderen of vervangen door andere waarden.

    • Voorbeeldtoepassing: Vindt abnormale transacties die sterk afwijken van de gemiddelde verkoopprijs voor beoordeling op fraude of incorrecte invoer, of detecteert plotselinge waardeverschuivingen in sensordata om afwijkingen in apparatuur vast te stellen.

  • Uniformiteit van gegevensformaten: Kan verschillende formats van data die uit verschillende bronnen komen uniformeren (bijvoorbeeld het unificeren van datumformaten).

    • Voorbeeldtoepassing: Wanneer sommige bestanden 'YYYY-MM-DD' en andere 'MM/DD/YYYY' bevatten, kan deze worden geharmoniseerd naar 'YYYY-MM-DD' voor integratie en analyse.

2. Data Integreren en Samenvoegen

pandas is zeer nuttig wanneer je data uit verschillende bestanden of databases samenvoegt om te analyseren.

  • Integreren van meerdere bestanden: Je kunt verschillende Excel- en CSV-bestanden met dezelfde structuur samenvoegen in één DataFrame (bijvoorbeeld: pd.concat()).

    • Voorbeeldtoepassing: Je kunt in één keer rapportbestanden met maandelijks gegenereerde verkoopresultaten gecombineerd inlezen om de totale jaarlijkse verkoopcijfers te berekenen of de dagelijkse logboeken samenvoegen om wekelijkse/maandelijkse traffic te analyseren.

  • Gegevens samenvoegen: Combineert verschillende DataFrames op basis van specifieke sleutels (kolommen) om nieuwe informatie te genereren (bijvoorbeeld: pd.merge()). Dit is vergelijkbaar met SQL's JOIN.

    • Voorbeeldtoepassing: Je kunt 'basisinformatie van klant' bestend en 'aankoopgeschiedenis' bestend combineren op basis van klant ID om de totaal gekochte bedragen per klant of de favoriete productcategorieën te analyseren. Of je kunt 'werknemersinformatie' en 'salarisinformatie' op basis van werknemer ID combineren om automatisch individuele salarisstroken te genereren.

  • Data herstructureren: Je kunt een draaitabel (pivot_table()) genereren of de data verticaal (melt()) of horizontaal (pivot()) transformeren om gewenste analysemethoden te creëren.

    • Voorbeeldtoepassing: Je kunt verkoopgegevens die per maand zijn opgemaakt, omzetten naar een draaitabel met 'product' als rijen en 'maand' als kolommen, zodat je de verkooptrends per maand in één oogopslag kunt zien, of je kunt enquêtegegevens herschikken voor gemakkelijke analyse.

3. Data-analyse en Rapportautomatisering

Door repetitieve analyses en rapportgeneratie te automatiseren, kun je tijd en moeite besparen.

  • Samenvattende Statistieken Genereren: Met verschillende statistische functies zoals describe(), mean(), sum(), count() kun je data snel samenvatten en belangrijke indicatoren extraheren.

    • Voorbeeldtoepassing: Je kunt snel het gemiddelde totale verkoopbedrag en de minimum-/maximumwaarde, standaarddeviatie, etc. begrijpen om zakelijke prestaties samen te vatten, of gemiddelde scores van enquête-antwoorden berekenen om de klanttevredenheid te evalueren.

  • Analyse per Groep: Je kunt groupby() gebruiken om data te groeperen op specifieke criteria (bijvoorbeeld per regio, product) en aggregaties (som, gemiddelde, aantal, etc.) voor elke groep uit te voeren.

    • Voorbeeldtoepassing: Automatisch het totale verkoopbedrag per locatie, gemiddelde winstmarge per productcategorie en uitgaven per afdeling berekenen en deze in rapporten opnemen.

  • Analyse van Tijdreeksdata: Efficiënt omgaan met datum/tijd data kan helpen bij maandelijkse en kwartaaltrendanalyse en bij het berekenen van voortschrijdende gemiddelden.

    • Voorbeeldtoepassing: Je kunt de dagelijkse veranderingen in aandelenprijzen berekenen of de dagelijkse verkooptrends van specifieke producten analyseren om een model voor toekomstige verkoopvoorspelling te bouwen.

  • Voorwaardelijke Filtering en Selectie: Hiermee kun je data extraheren die aan specifieke voorwaarden voldoen, waardoor je de analyses kunt verfijnen.

    • Voorbeeldtoepassing: Je kunt alleen data uit specifieke periodes (bijvoorbeeld afgelopen kwartaal) bekijken of alleen transacties boven een bepaalde waarde (bijvoorbeeld 1 miljoen won) filteren om een lijst met VIP-klanten te genereren.

  • Aangepaste Rapporten Genereren: Met de geanalyseerde DataFrame kun je automatisch rapporten in de gewenste vorm (Excel, CSV, PDF, enz.) genereren en waar nodig grafieken toevoegen.

    • Voorbeeldtoepassing: Elke maandagochtend kun je een systeem opzetten dat automatisch de verkoopresultaten van de afgelopen week analyseert en een 'wekelijkse verkooprapport'-Excel-bestand genereert en deze per e-mail naar de relevante afdelingen verstuurt.

Conclusie

pandas is niet zomaar een hulpmiddel dat Excel-taken vervangt, maar een krachtig wapen voor het begrijpen en benutten van data. Ontsnap aan repetitieve en saaie datawerkzaamheden en pak de kans om je efficiëntie te maximaliseren en je te concentreren op belangrijker werk met pandas.

In de volgende post gaan we dieper in op hoe je Excel-bestanden kunt lezen en schrijven met behulp van pandas en de verschillende opties. Blijf op de hoogte!