Bij statistische modellering is regressieanalyse een reeks statistische processen voor het schatten van de relaties tussen een afhankelijke variabele (vaak de 'uitkomstvariabele' genoemd) en een of meer onafhankelijke variabelen (vaak 'voorspellers', 'covariaten' of 'kenmerken' genoemd). ). De meest voorkomende vorm van regressieanalyse is lineaire regressie, waarbij men de lijn (of een meer complexe lineaire combinatie) vindt die het meest overeenkomt met de gegevens volgens een specifiek wiskundig criterium.
De methode van gewone kleinste kwadraten berekent bijvoorbeeld de unieke lijn (of hypervlak) die de som van de gekwadrateerde verschillen tussen de werkelijke gegevens en die lijn (of hypervlak) minimaliseert. Om specifieke wiskundige redenen (zie lineaire regressie) stelt dit de onderzoeker in staat om de voorwaardelijke verwachting (of populatiegemiddelde waarde) van de afhankelijke variabele te schatten wanneer de onafhankelijke variabelen een bepaalde reeks waarden aannemen. Minder vaak voorkomende vormen van regressie gebruiken enigszins verschillende procedures om alternatieve locatieparameters te schatten (bijv. Kwantielregressie of noodzakelijke conditieanalyse of om de voorwaardelijke verwachting te schatten over een bredere verzameling niet-lineaire modellen (bijv. Niet-parametrische regressie).