Egy nem szakszerű magyarázat:
A kernel a telefon szoftverének, az Android operációs rendszernek a magja, míg a ROM a héja :-)
Maga a kernel olyan 7-10MB, és az operációs rendszerek szokásos alapszolgáltatásait nyújtja, például hozzáférés a hardvereszközökhöz. A kernel típusától függ emiatt nagyon sok minden, például, hogy lehet-e a processzort húzni, milyen az akkuállapot-jelzés karakterisztikája, stb. A ROM a 'körítés', persze ebben is nélkülözhetetlen dolgok vannak. Meghatározza pl. a kinézetet, magában foglalja az összes rendszeralkalmazást, beállítást, stb.
A gyakorlatban: amikor ROM-ot teszel fel, abban mindig van kernel is (factoryfs fájl), viszont kernelt lehet külön is cserélni, ekkor a beállítások, programok, stb. megmaradnak. Kernelt is tök ugyanúgy kell feltenni, mintha ROM-ot tennél fel, Odinnal. De ha spéci ROM-od van (pl. Kyrillos, Destiny 2.x), amiben van CWM recovery, akkor a telefon SD kártyájáról is fel lehet tenni, számítógép nélkül.

Ericsson A2618s --> Samsung R210 --> Sony Ericsson T100s --> Sony Ericsson k750i --> Samsung Galaxy 3 --> Sony Ericsson Xperia Ray CM10 --> Nexus 5, stock 6.0.1 --> Sony Xperia Z5 Compact, stock