Što je AF s dubinskim učenjem: kako funkcionira Canonov autofokus na AI?

Canon je stvorio puno buke zbog svog novog AF s dubokim učenjem, koji je u središtu najnovijeg vodećeg profesionalnog fotoaparata proizvođača. Zvuči nevjerojatno pametno, ali puno je pitanja - što je duboko učenje? Tko izvodi nastavu? Uči li sustav dok pucate? Je li to doista umjetna inteligencija u kameri? Da li to zapravo poboljšava autofokus?

Ako ste pročitali naš pregled Canon EOS-1D X Mark III, znat ćete da je odgovor na posljednje pitanje odlučan da. Što se tiče odgovora na ostala pitanja o AF za duboko učenje, uzmite si piće i međuobrok i pročitajte dalje …

Mehanika autofokusa Canon EOS-1D X Mark III nevjerojatno je pametna, podržavajući dva pojedinačna AF sustava. Prvo je optički sustav koji kroz tražilo snima 16 sličica u sekundi, koristeći mjerni senzor od 400 000 piksela u kombinaciji s namjenskim procesorom Digic 8, za AF s 191 točkom sposoban za praćenje lica.

Potom je tu i Live View sustav, sposoban za snimanje 20 sličica u sekundi, koji koristi svih 20,1 milijuna piksela slikovnog senzora u kombinaciji s novim Digic X procesorom, za 3.869 Dual Pixel CMOS točaka koje mogu izvesti AF s punim prepoznavanjem oka.

Oba ova sustava napaja Canonova osnovna tehnologija EOS iTR AFX - najnovija inačica njenog automatskog fokusiranja za inteligentno praćenje i prepoznavanje, koja je debitirala u originalnom EOS-1D X (a potom je dospjela do 7D Mark II i 5D obitelji). A u njegovom krugu je zakopan algoritam dubokog učenja.

Duboko učenje NIJE isto što i AI

Prije svega, važno je pojasniti da se dubinsko učenje ne smije miješati s umjetnom inteligencijom (AI). AI sustav je nešto što se neprestano razvija. Duboko učenje ili strojno učenje podskup je AI-ja.

Za razliku od prave AI, duboko učenje je zatvoren proces. To je algoritam predsklopa koji omogućuje arhitekturi fotoaparata da se u sebi uči, puno brže nego što bi je mogli ručno programirati ljudski inženjeri. Nakon što je ovo učenje završeno, zaključava se i učitava u kameru.

Od tog trenutka više nije moguće učenje; unatoč imenu - a Deep Learning je naziv tehnologije, a ne opis postupka - kamera ne uči stalno i neće biti 'bolja' što više pucate (uistinu, istinski sustav AI naučio bi što više vaših loših navika kao i vaših dobrih!).

"Naučeno je", objašnjava Mike Burnhill, voditelj tehničke podrške za Canon Europe. "Stavite ga u računalo, on stvara algoritam koji se zatim učita u kameru. Dakle, razlikuje se od AI - AI je kontinuirano učenje; duboko učenje je u osnovi, ono samo podučava i daje vam krajnji rezultat koji se zatim učita u kameru. "

Što postavlja pitanje: je li kamera zapravo sposobna podržati umjetnu inteligenciju s toliko mnogo tvrtki koje viču o značajkama temeljenim na AI?

"Procesorska snaga za stvaranje istinske umjetne inteligencije nije izvediva u fotoaparatu", kaže Burnhill. "Ako to želite učiniti, postoje telefoni - ali podataka nema u vašem telefonu, oni su u Silicijskoj dolini. Tu je AI sustav. Samo, vaša se telefonska veza povezuje s njim - nije ovdje, već je tamo (u oblak), jer vam je potreban poslužitelj. Mogli bismo napraviti kameru, ali vi biste cijelo vrijeme vukli divovski slučaj leta sa sobom. "

Kako se podučava duboko učenje?

Dakle, algoritam dubokog učenja podučava sam sebe - ali odakle zapravo uči? Jednostavno rečeno, odgovor je "od najboljih".

"Canon je surađivao s našim agencijama", kaže nam Burnhill. "U osnovi smo dobili pristup cijeloj njihovoj bazi podataka sportskih fotografija od svih glavnih agencija, surađivali smo s našim veleposlanicima koji se bave sportom, a oni su pružali njihove slike različitih predmeta, a to nam je omogućilo da ovaj AF sustav naučimo kako prepoznati ljudi u sportu. "

Sport je, očito, ciljana metoda poučavanja jer je Canon EOS-1D X Mark III prvenstveno sportska kamera. Problem je, bilo da je riječ o košarkašu okrenutom od kamere, skijašu u zaštitnim naočalama ili vozaču Formule 1 koji nosi kacigu, ljudima u sportu često su lica zaklonjena - što znači da tradicionalni AF za otkrivanje lica ili čak oka ne ' ne radi, a kamera će se umjesto toga zaključati na stvari poput brojeva na igračkoj uniformi.

Dajući algoritmu dubokog učenja pristup ogromnoj biblioteci slika, svega, od naopakih gimnastičara do hokejaša koji nose jastučiće i kacige, sposoban je naučiti i razlikovati ljudski oblik u beskrajnim raznim situacijama - i u konačnici je u mogućnosti da biste izveli ovo "otkrivanje glave", tako da čak i ako lice osobe nije vidljivo, glava je uvijek primarna točka fokusa.

"Dubinsko učenje u osnovi ima slika, vi stvorite skup pravila po kojima će ono moći naučiti, a zatim se isključi i kreira svoj vlastiti algoritam," nastavlja Burnhill. "Dakle, postavite parametre kako bi osoba izgledala, idete:" Evo osobe ", zatim analizira sve slike ljudi i kaže:" Ovo je osoba "," To je osoba ". prolazi kroz milijune slika tijekom određenog vremenskog razdoblja i stvara tu bazu podataka te uči sama od sebe. "

Zapravo, algoritam zapravo stvara dvije baze podataka - jednu za servisiranje AF sustava optičkog tražila i mjerenja pomoću Digica 8, a drugu za servis AF sustava Live View koji koristi Digic X. Budući da je Digic X taj koji vrši sva izračunavanja za praćenje glave, nakon što AF algoritam otkrije osobu u kadru, sve se prebacuje na novi procesor.

"Jednom kad ubacite osobu, zapravo se odvija dvostruka obrada", kaže Burnhill. "Ovdje postoje dvije baze podataka, jer će se ulaz s oba senzora malo razlikovati, pa će se način prepoznavanja malo razlikovati, pa su to podskupovi istog algoritma. Osnovni podaci za obje su isti, samo je kako će biti prepoznata i na nju primijenjeni pravi podaci. "

Ako ne može naučiti nove stvari … što je sa AF životinja?

Naravno, Canon EOS-1D X Mark III nije samo sportska kamera - njegova druga ključna publika su strijelci za divlje životinje. Ipak, kamera nema mogućnost autofokusa na životinjama, a mi smo ustanovili da duboko učenje zapravo ne može naučiti nikakve nove trikove nakon što se u nju upeče. Pa je li to to? Uz svu ovu fensi novu tehnologiju, neće li se kamera fokusirati ni na obiteljskog psa?

Istina je da trenutno kamera nema AF životinjskog (ili životinjskog oka). "U osnovi smo koncentrirani na ljude da započnu da bi ta vrsta algoritma prvo funkcionirala", odgovara Burnhill. "Zbog toga smo se nekako usredotočili na sport, jer je to postavljeni parametar i možemo ga naučiti u određenom vremenskom razdoblju,"

Odgovor se, dakle, krije u firmwareu. Burnhill je potvrdio da postoji mogućnost da kamera podvrgne dubljem učenju, za stvari poput ptica i divljih životinja, te da se ovaj ažurirani algoritam distribuira korisnicima putem ažuriranja firmvera - iako nema konkretnih planova za najavu.

"Razvit ćemo ga cijelo vrijeme, tako da trenutno još uvijek nije određeno kako i kamo idemo. Ali razvojni tim ide i gleda ostale fotografije životinja - shvatimo da postoji čitav niz polja, ali očito je veliko fokus ove kamere je sport, a zatim i divlje životinje, a očito je to bio prioritet s Tokiom 2022-2023. "

To je pošteno; da je Canon čekao da Deep Learning nauči sve, trebalo bi više vremena da fotoaparat bude pušten. Iako se proizvođači poput Sonyja u svojim fotoaparatima mogu pohvaliti nekim selektivnim AF za životinje, Burnhill primjećuje da bi Canon puno radije izdao cjelovito rješenje za AF za životinje, a ne selektivno, djelomično. I ovdje će duboko učenje postati neprocjenjivo.

"Problem je s divljinom, puno je različitih životinja - očito imate predatore s očima sprijeda, a zatim sa strane imate zečje oči, imate zmije, imate ptice … ne postoji sustav koji prepoznaje lica svih životinja. I tu ulazite u cijelo ovo Duboko učenje, podučavanje sustava prepoznavanju ovih složenih stvari. "

Dakle, iako će vaš Sony možda moći pratiti vašeg psa ili mačku, ali ne i salamandera ili flaminga, Canon želi proizvesti kameru koja radi sve ili ništa. "Ako bismo to željeli, htjeli bismo to učiniti za što širi spektar - ne želimo napraviti fotoaparate prilagođene psima i fotoaparate mačkama, želimo napraviti fotoaparate prilagođene životinjama koji radi za širok spektar životinja na koje bi (profesionalci) pucali. "

Pregled Canon EOS-1D X Mark III
Kako je Canon napravio najbrži DSLR ikad? Preoblikovanjem kutije zrcala
102 ažuriranja za Canon EOS-1D X Mark III

Zanimljivi članci...