Lineaaralgebra ja optimeerimine koos masinõppe rakendustega - II köide: Optimeerimisteooria alused koos masinõppe rakendustega

2. köide rakendab 1. köites esitatud lineaaralgebra kontseptsioone optimeerimisprobleemidele, mis masinõppes sageli esinevad. See raamat ühendab teooria praktikaga, käsitledes hoolikalt mitte ainult iga optimeerimistehnika matemaatilisi aluseid, vaid rakendades neid tehnikaid ka lineaarprogrammeerimisele, tugivektormasinatele (SVM), peakomponentide analüüsile (PCA) ja harja regressioonile. 2. köide algab optimeerimisteooria esialgsete kontseptsioonide, näiteks meetriliste ruumide, tuletiste ja Lagrange'i kordistaja tehnika käsitlemisega reaalarvuliste funktsioonide äärmuste leidmiseks. Seejärel nihkub fookus lineaarfunktsiooni optimeerimise erijuhule afiinsete piirangutega määratud piirkonnas, nimelt lineaarprogrammeerimisele. Tähtsündmuste hulka kuuluvad simpleksalgoritmi, duaal-simpleksalgoritmi ja primaal-duaalalgoritmi hoolikas tuletamine ja rakendused. Selle raamatu teoreetiline süda on erinevate mittelineaarsete optimeerimismeetodite matemaatiliselt range esitlemine, sealhulgas, kuid mitte ainult, gradiendi dekanteerimine, Karush-Kuhn-Tuckeri (KKT) tingimused, Lagrange'i duaalsus, kordajate vahelduva suuna meetod (ADMM) ja tuuma meetod. Neid meetodeid rakendatakse hoolikalt kõva äärega SVM-i, pehme äärega SVM-i, tuuma PCA, harja regressiooni, lasso regressiooni ja elastse võrgu regressiooni puhul. Lisatud on ka neid meetodeid rakendavad Matlabi programmid.