Ha gépi tanulással szeretnél foglalkozni, és szeretnéd érteni az egyes modellek matematikai hátterét is, akkor szerintem a következő ismeretek szükségesek: egy- és többváltozós analízis, lineáris algebra és valszám/statisztika. A lineáris algebrához magyarul tudom ajánlani az egyetemi tanárom online jegyzetét ([link]), ami az alapoktól eljut egészen magas szintre. Angolul rengeteg könyv van (ajánlom amazon böngészését, és az értékeléseket ), például Strang vagy Meyer könyvei, amelyeket ismerem. Valszám/statisztika témakörben főleg angol irodalmat tudok ajánlani: All of Statistics: A Concise Course in Statistical Inference, ez tartalmaz rövid valszám bevezetőt és utána áttér a statisztikai modellekre (~ tehát ez már tekinthető gépi tanulásnak, legfeljebb más megközelítésben). Még talán a diszkrét optimalizálás témaköre lehet hasznos a gépi tanuláshoz, ehhez bevezetésként például ajánlom ezt a Coursera kurzust.
A gépi tanulás témakörében szintén angol irodalmat tudok ajánlani, de maga a gépi tanulás elég tág fogalom, sok területtel lehet foglalkozni. A könyvek mellett ebben az esetben is javaslom a Coursera böngészését, sok ezzel kapcsolatos kurzus van. A könyvek (ezek legtöbbje tartalmaz rövid valszám bevezetőt is):
An Introduction to Statistical Learning: with Applications in R: ez egy bevezető machine learning könyv, ezzel kevésbé foglalkoztam, de kezdésnek jó lehet az alapvető dolgok megértéséhez. Hátrány, hogy R-ben vannak a példák, amit kevesebben ismernek.
Hands-On Machine Learning with Scikit-Learn and TensorFlow: gyakorlatias könyv, elsősorban alkalmazott tudást ad, sok példakód van hozzá.
Murphy: Machine Learning: A Probabilistic Perspective: ez egy komolyabb darab (>1000 oldal), és ehhez jó matektudás kell, hogy értsed. A könyv a gépi tanulás rengeteg területét érinti, emiatt ez az egyes technikák megismerésére nagyon jó, de ha egy-egy témakörben jobban elmélyülnél, akkor lehet szükség lesz további irodalomra. Én főleg ezt a könyvet használom/használtam, van hozzá egy hatalmas MATLAB könyvtár, illetve részben már Pythonban is elérhető. A statisztikai megközelítést tekintve inkább Bayes-i, de tárgyalja a klasszikus statisztikát is.
Hastie et al: The Elements of Statistical Learning: a másik alapmű (szerintem) a gépi tanulás elsajátításához. Szintén egy nehezebb könyvről van szó, vannak átfedések az előző könyvvel, de jól kiegészítik egymást. Ez a könyv talán kicsit a klasszikus statisztikai megközelítéshez áll közelebb.

Elsőre talán ennyi, összességében az utolsó két könyv szerintem nagyon jó alapot ad a gépi tanulás mélyebb megértéséhez, de sok időt rá kell szánni, és megértésük sem könnyű.