Big data is een term die de grote hoeveelheid gegevens beschrijft - zowel gestructureerd als ongestructureerd - die een bedrijf dagelijks overspoelt. Maar het is niet de hoeveelheid gegevens die belangrijk is. Het gaat erom wat organisaties doen met de gegevens. Big data kunnen worden geanalyseerd voor inzichten die leiden tot betere beslissingen en strategische bedrijfsbewegingen.
De term 'big data' verwijst naar gegevens die zo groot, snel of complex zijn dat ze met traditionele methoden moeilijk of onmogelijk te verwerken zijn. Het openen en opslaan van grote hoeveelheden informatie voor analyse bestaat al lang. Maar het concept van big data kwam in een stroomversnelling in de vroege jaren 2000 toen industrieanalist Doug Laney de nu gangbare definitie van big data formuleerde als de drie V's:
Volume: organisaties verzamelen gegevens uit verschillende bronnen, waaronder zakelijke transacties, slimme (IoT-) apparaten, industriële apparatuur, video's, sociale media en meer. In het verleden zou het een probleem zijn geweest om het op te slaan, maar goedkopere opslag op platforms zoals datameren en Hadoop hebben de last verlicht.
Snelheid: met de groei van het internet der dingen stromen gegevens met een ongekende snelheid naar bedrijven en moeten ze tijdig worden afgehandeld. RFID-tags, sensoren en slimme meters zorgen ervoor dat deze gegevensstromen bijna in realtime moeten worden verwerkt.
Verscheidenheid: gegevens zijn er in alle soorten indelingen - van gestructureerde, numerieke gegevens in traditionele databases tot ongestructureerde tekstdocumenten, e-mails, video's, audio, beursgegevens en financiële transacties.