15 populiari mašininio mokymosi metrika duomenų mokslininkui

Mašininis mokymasis yra vienas iš labiausiai tiriamų dalykų per pastaruosius du dešimtmečius. Žmonių poreikiai nesibaigia. Tačiau jų gamyba ir darbingumas yra riboti. Štai kodėl pasaulis eina link automatikos. Mašinų mokymasis turi didžiulį vaidmenį šioje pramonės revoliucijoje. Kūrėjai kiekvieną dieną kuria patikimesnius ML modelius ir algoritmus. Bet jūs negalite tik mesti savo modelio į gamybą, jo neįvertinę. Čia atsiranda mašininio mokymosi metrika. Duomenų mokslininkai naudoja šią metriką matuodami, kaip gerai modelis numato. Turite apie juos gerai įsivaizduoti. Kad jūsų ML kelionė būtų patogi, pateiksime populiariausias mašininio mokymosi metrikas, kurias galite išmokti tapti geresniu duomenų mokslininku.

Populiariausia mašininio mokymosi metrika

Manome, kad esate gerai susipažinęs su mašininio mokymosi algoritmais. Jei ne, galite patikrinti mūsų straipsnį apie ML algoritmus. Dabar apžvelkime 15 populiariausių mašininio mokymosi metrikų, kurias turėtumėte žinoti kaip duomenų mokslininkas.

01. Sumišimo matrica

Duomenų mokslininkai naudoja painiavos matricą, kad įvertintų klasifikavimo modelio našumą. Iš tikrųjų tai yra stalas. Eilėse vaizduojama tikroji vertė, o stulpeliuose - numatoma vertė. Kadangi vertinimo procesas naudojamas klasifikavimo problemoms spręsti, matrica gali būti kuo didesnė. Paimkime pavyzdį, kad jį suprastume aiškiau.

Tarkime, kad iš viso yra 100 kačių ir šunų vaizdų. Modelis numatė, kad 60 iš jų buvo katės, o 40 iš jų nebuvo katės. Tačiau iš tikrųjų 55 iš jų buvo katės, o likę 45 buvo šunys. Darant prielaidą, kad katės yra teigiamos, o šunys - neigiamos, galime apibrėžti keletą svarbių terminų.

• Modelis teisingai numatė 50 kačių vaizdų. Tai vadinama tikraisiais teigiamais (TP).
• Buvo prognozuota, kad 10 šunų yra katės. Tai yra klaidingi teigiami (FP).
• Matrica teisingai numatė, kad 35 iš jų nebuvo katės. Tai vadinama tikraisiais neigiamais (TN).
• Kiti 5 vadinami klaidingais neigiamais (FN), nes jie buvo katės. Tačiau modelis juos prognozavo kaip šunis.

02. Klasifikavimo tikslumas

Tai paprasčiausias modelio vertinimo procesas. Mes galime tai apibrėžti kaip bendrą teisingų prognozių skaičių, padalytą iš bendro įvesties reikšmių skaičiaus. Klasifikavimo matricos atveju tai galima pasakyti kaip TP ir TN sumos ir viso įvesties skaičiaus santykį.

Todėl aukščiau pateiktame pavyzdyje tikslumas yra (50 + 35/100), t.e., 85%. Tačiau procesas ne visada yra efektyvus. Tai dažnai gali pateikti neteisingą informaciją. Metrika efektyviausia, kai kiekvienos kategorijos pavyzdžiai yra beveik vienodi.

03. Tikslumas ir atšaukimas

Tikslumas ne visada veikia gerai. Tai gali pateikti neteisingą informaciją, kai imčių pasiskirstymas nevienodas. Taigi, norint tinkamai įvertinti savo modelį, reikia daugiau metrikos. Čia atsiranda tikslumas ir atšaukimas. Tikslumas yra tikrasis teigiamas teigiamas rezultatas. Mes galime žinoti, kiek mūsų modelis reaguoja, norėdamas sužinoti faktinius duomenis.

Minėto pavyzdžio tikslumas buvo 50/60, t.e., 83.33%. Modeliui sekasi prognozuoti kates. Kita vertus, prisiminimas yra tikro teigiamo ir tikro teigiamo ir klaidingo neigiamo sumos santykis. Prisiminimas parodo, kaip dažnai modelis numato katę šiame pavyzdyje.

Ankstesniame pavyzdyje atšaukimas yra 50/55, t.e., 90%. 90% atvejų modelis iš tikrųjų yra teisingas.

04. F1 rezultatas

Tobulumui nėra pabaigos. Norint geriau įvertinti, galima susieti atšaukimą ir tikslumą. Tai yra F1 rezultatas. Metrika iš esmės yra tikslumo ir priminimo harmoninis vidurkis. Matematiškai tai gali būti parašyta taip:

Iš katės-šuns pavyzdžio F1 balas yra 2 *.9 *.8 / (.9+.8), t.e., 86%. Tai yra daug tiksliau nei klasifikavimo tikslumas ir viena iš populiariausių mašininio mokymosi metrikų. Tačiau yra apibendrinta šios lygties versija.

Naudodamiesi beta versija, galite skirti daugiau reikšmės nei atšaukimui, nei tikslumui; dvejetainės klasifikacijos atveju beta = 1.

05. ROC kreivė

ROC kreivė arba tiesiog imtuvo operatoriaus charakteristikų kreivė rodo, kaip mūsų modelis veikia esant skirtingoms riboms. Klasifikavimo problemose modelis numato kai kurias tikimybes. Tada nustatoma riba. Bet kuri išvestis, didesnė už slenkstį, yra 1 ir mažesnė nei 0. Pavyzdžiui, .2, .4,.6, .8 yra keturi išėjimai. Dėl slenksčio .5 išvestis bus 0, 0, 1, 1 ir slenkstis .3 tai bus 0, 1, 1, 1.

Skirtingi slenksčiai sukels skirtingą atšaukimą ir tikslumą. Tai ilgainiui pakeis tikrąją teigiamą normą (TPR) ir klaidingai teigiamą normą (FPR). ROC kreivė yra grafikas, sudarytas imant TPR y ašyje ir FPR x ašyje. Tikslumas suteikia mums informacijos apie vieną slenkstį. Tačiau ROC suteikia mums daugybę ribų, iš kurių galime rinktis. Štai kodėl ROC yra geriau nei tikslumas.

06. AUC

Plotas po kreive (AUC) yra dar viena populiari mašininio mokymosi metrika. Kūrėjai naudoja vertinimo procesą, kad išspręstų dvejetainės klasifikacijos problemas. Jūs jau žinote apie ROC kreivę. AUC yra plotas po ROC kreive įvairioms ribinėms vertėms. Tai suteiks jums idėją apie tikimybę, kai modelis pasirinks teigiamą imtį, o ne neigiamą.

AUC svyruoja nuo 0 iki 1. Kadangi FPR ir TPR skirtingoms riboms yra skirtingos vertės, AUC taip pat skiriasi kelioms riboms. Didėjant AUC vertei, modelio našumas didėja.

07. Rąstų praradimas

Jei įsisavinate mašininį mokymąsi, turite žinoti žurnalo praradimą. Tai labai svarbi ir labai populiari mašininio mokymosi metrika. Žmonės naudoja procesą, kad įvertintų tikimybinius rezultatus turinčius modelius. Žurnalo nuostolis padidėja, jei modelio prognozuojama vertė daug skiriasi nuo realiosios vertės. Jei tikroji tikimybė yra .9 ir numatoma tikimybė yra .012, modelis turės didžiulį rąstų nuostolį. Žurnalo nuostolių skaičiavimo lygtis yra tokia:

Kur,

• p (yi) yra teigiamų imčių tikimybė.
• 1-p (yi) yra neigiamų imčių tikimybė.
• yi yra atitinkamai 1 ir 0 teigiamai ir neigiamai klasei.

Iš grafiko pastebime, kad nuostolis mažėja didėjant tikimybei. Tačiau jis didėja mažesne tikimybe. Idealūs modeliai turi 0 žurnalo nuostolių.

08. Vidutinė absoliuti klaida

Iki šiol aptarėme populiarią mašininio mokymosi metriką klasifikavimo problemoms spręsti. Dabar aptarsime regresijos metriką. Vidutinė absoliuti paklaida (MAE) yra viena iš regresijos metrikų. Iš pradžių apskaičiuojamas skirtumas tarp tikrosios vertės ir numatomos vertės. Tada šių skirtumų absoliučių vidurkis suteikia MAE. MAE lygtis pateikta žemiau:

Kur,

• n yra bendras įėjimų skaičius
• yj yra tikroji vertė
• yhat-j yra numatoma reikšmė

Kuo mažesnė paklaida, tuo geriau modelis. Tačiau dėl absoliučių verčių negalima žinoti klaidos krypties.

09. Vidutinė kvadrato klaida

Vidutinė kvadratinė klaida arba MSE yra dar viena populiari ML metrika. Dauguma duomenų mokslininkų naudoja ją regresijos problemoms spręsti. Kaip ir MAE, turite apskaičiuoti skirtumą tarp tikrųjų verčių ir numatomų verčių. Bet šiuo atveju skirtumai yra kvadratiniai ir imamas vidurkis. Lygtis pateikiama žemiau:

Simboliai nurodo tą patį kaip MAE. Kai kuriais atvejais MSE yra geresnė nei MAE. MAE negali parodyti jokios krypties. MSE tokios problemos nėra. Taigi, naudodamiesi juo galite lengvai apskaičiuoti gradientą. MSE turi didžiulį vaidmenį apskaičiuojant gradiento nusileidimą.

10. Šaknies vidurkio paklaida

Tai yra bene populiariausia mašininio mokymosi metrika regresijos problemoms spręsti. Šaknies vidurkio paklaida (RMSE) iš esmės yra kvadratinė MSE šaknis. Jis beveik panašus į MAE, išskyrus kvadratinę šaknį, todėl klaida yra tikslesnė. Lygtis yra:

Norėdami palyginti tai su MAE, paimkime pavyzdį. Tarkime, kad yra 5 faktinės vertės 11, 22, 33, 44, 55. Atitinkamos numatomos vertės yra 10, 20, 30, 40, 50. Jų MAE yra 3. Kita vertus, RMSE yra 3.32, kuris yra išsamesnis. Štai kodėl labiau tinka RMSE.

11. R-kvadratas

Klaidą galite apskaičiuoti iš RMSE ir MAE. Tačiau palyginti abu modelius nėra patogu juos naudojant. Kurdami klasifikavimo problemas, kūrėjai tiksliai palygina du modelius. Jums reikia tokio etalono regresijos problemoms spręsti. R kvadratas padeda palyginti regresijos modelius. Jo lygtis yra tokia:

Kur,

• Modelis MSE yra pirmiau minėta MSE.
• Bazinė MSE yra vidutinės prognozės ir tikrosios vertės skirtumų kvadrato vidurkis.

R kvadrato diapazonas yra nuo neigiamos begalybės iki 1. Didesnė vertinimo vertė reiškia, kad modelis tinka.

12. Koreguotas R kvadratas

„R-Squared“ turi trūkumų. Tai neveikia gerai, kai prie modelio pridedamos naujos funkcijos. Tokiu atveju kartais vertė didėja, o kartais ji lieka ta pati. Tai reiškia, kad „R-Squared“ nesvarbu, ar naujoji funkcija turi ką patobulinti modelį. Tačiau šis trūkumas pašalintas pritaikytame „R-Squared“. Formulė yra: Kur,

• P yra funkcijų skaičius.
• N yra įvesties / pavyzdžių skaičius.

„R-Squared Adjusted“ reikšmė padidėja tik tuo atveju, jei nauja funkcija pagerina modelį. Kaip žinome, didesnė „R-Squared“ vertė reiškia, kad modelis yra geresnis.

13. Neprižiūrima mokymosi vertinimo metrika

Jūs paprastai naudojate grupavimo algoritmą neprižiūrimam mokymuisi. Tai nėra panašu į klasifikaciją ar regresiją. Modelis neturi etikečių. Mėginiai grupuojami atsižvelgiant į jų panašumus ir skirtumus. Norint įvertinti šias grupavimo problemas, mums reikia kitokio tipo vertinimo metrikos. Silueto koeficientas yra populiari mašininio mokymosi metrika, skirta spręsti klasterių problemas. Jis veikia pagal šią lygtį:

Kur,

• „a“ yra vidutinis atstumas tarp bet kurios imties ir kitų sankaupos taškų.
• „b“ - vidutinis atstumas tarp bet kurios imties ir kitų artimiausio klasterio taškų.

Mėginių grupės silueto koeficientas imamas kaip jų individualių koeficientų vidurkis. Jis svyruoja nuo -1 iki +1. +1 reiškia, kad klasteris turi visus tų pačių atributų taškus. Kuo didesnis balas, tuo didesnis yra grupių tankis.

14. MRR

Kaip ir klasifikavimas, regresija ir grupavimas, reitingavimas taip pat yra mašininio mokymosi problema. Reitingas pateikia pavyzdžių grupę ir ranguoja juos pagal tam tikras ypatybes. Tai reguliariai matote „Google“, nurodydami el. Laiškus, „YouTube“ ir kt. Daugelis duomenų mokslininkų savo pirmąjį pasirinkimą sprendžiant reitingavimo problemas laiko vidutinį abipusį reitingą (MRR). Pagrindinė lygtis yra:

Kur,

• Q yra pavyzdžių rinkinys.

Lygtis parodo, kaip gerai modelis reitinguoja pavyzdžius. Tačiau jis turi trūkumą. Elementų sąraše jis vienu metu atsižvelgia tik į vieną atributą.

15. Nustatymo koeficientas (R²)

Mašinų mokymasis turi didžiulį statistikos kiekį. Daugeliui modelių įvertinti reikia statistinės metrikos. Apibrėžimo koeficientas yra statistinė metrika. Tai rodo, kaip nepriklausomas kintamasis veikia priklausomą kintamąjį. Atitinkamos lygtys yra šios:

Kur

• fi yra numatoma vertė.
• ybaras yra vidutinis.
• SStot yra bendra kvadratų suma.
• SSres yra likutinė kvadratų suma.

Modelis geriausiai veikia, kai = 1. Jei modelis numato vidutinę duomenų vertę, bus 0.

Paskutinės mintys

Tik kvailys savo modelį pradės gaminti, jo neįvertinęs. Jei norite būti duomenų mokslininkas, turite žinoti apie ML metriką. Šiame straipsnyje išvardijome penkiolika populiariausių mašininio mokymosi metrikų, kurias turėtumėte žinoti kaip duomenų mokslininkas. Tikimės, kad jums dabar aišku apie skirtingą metriką ir jų svarbą. Šias metrikas galite pritaikyti naudodami „Python“ ir „R“.

Jei atidžiai studijuosite straipsnį, turėtumėte būti motyvuotas išmokti naudoti tikslią ML metriką. Mes atlikome savo darbą. Dabar jūsų eilė būti duomenų mokslininku. Klysti yra žmogiška. Šiame straipsnyje jų gali trūkti. Jei tokių rasite, galite mums apie tai pranešti. Duomenys yra nauja pasaulio valiuta. Taigi, pasinaudokite ja ir uždirbkite savo vietą pasaulyje.