Kako uvesti prethodno obučeni model u PyTorch?

Modeli strojnog učenja u PyTorchu mogu biti iznimno složeni i detaljni s milijunima redaka i terabajta podataka. Što je skup podataka korišten u obuci veći i raznolikiji, to su zaključci modela bolji. Od vitalne je važnosti moći koristiti prethodno uvježbane modele za izvođenje zaključaka iz novih podataka jer se time mogu uštedjeti resursi i koristiti isti precizno izrađeni modeli.

U ovom blogu proći ćemo kroz dvije metode kako uvesti prethodno obučeni model u PyTorch.

Kako uvesti prethodno obučeni model u PyTorch pomoću Torchvisiona?

' vid baklje ” biblioteka se može koristiti za uvoz unaprijed obučenih modela u PyTorch. To je pododjeljak primarnog ' baklja ” i sadrži funkcionalnost prethodno sastavljenih skupova podataka i uvježbanih modela. Ova biblioteka pruža korisnicima mogućnost pozivanja modela koji su obučeni na velikom skupu podataka. Ovi unaprijed obučeni modeli mogu se primijeniti na nove podatke i mogu dati valjane zaključke bez potrebe za dugim i neupravljivim petljama obuke.

Slijedite dolje navedene korake kako biste naučili kako uvesti prethodno obučeni model u PyTorch pomoću Torchvisiona:

Korak 1: Otvorite Google Colab
Idite u Suradnju web stranica stvorio Google i pokrenuti ' Nova bilježnica ” za početak projekta:

Korak 2: Uvezite potrebne biblioteke
Nakon što je Colab IDE postavljen, prvi korak je instaliranje i uvoz biblioteka potrebnih u projektu:

! pip instalirati gorionik

uvoz baklja
uvoz vid baklje
uvoz vid baklje. modeli

Gornji kôd radi na sljedeći način:

' pip ” program za instaliranje paketa za Python koristi se za instaliranje baklja ” knjižnica.
Zatim, ' uvoz ” naredba se koristi za uvoz biblioteke u Colab projekt.
Onda ' vid baklje ” biblioteka se uvozi u projekt. Ovo sadrži funkcionalnost za skupove podataka i modele.
' torchvision.model ” modul sadrži asortiman unaprijed obučenih modela kao što su oni Rezidualne neuronske mreže “ ResNet ”:

Korak 3: Uvezite prethodno obučeni model
Uvezite prethodno uvježbani model spremljen unutar paketa 'torchvision.models' pomoću donjeg retka koda:

Prethodno_obučeni_model = vid baklje. modeli . ozbiljan50 ( unaprijed obučen = Pravi )

Redak koda iznad radi na sljedeći način:

Definirajte varijablu i dajte joj prikladno ime za referencu kao što je “Prethodno_treniran_model” .
Koristiti “torchvision.modeli” modul za dodavanje ' ResNet ” model.
Dodajte ' ozbiljan50 ' modelirajte i postavite ' pretrained=Istina ” kao svoj argument:

Zatim pogledajte prethodno obučeni model kao izlaz pomoću metode 'print()':

ispisati ( Prethodno_obučeni_model )

Bilješka : Možete pristupiti našoj Colab bilježnici koja opisuje uvoz prethodno obučenog PyTorch modela pomoću torchvisiona na ovom veza .

Kako uvesti prethodno obučeni PyTorch model iz baze podataka Hugging Face?

Još jedan način za uvoz prethodno obučenog modela je da ga nabavite s platforme Hugging Face. Hugging Face jedna je od najpopularnijih internetskih baza podataka za unaprijed obučene modele i velike skupove podataka dostupnih znanstvenicima i programerima podataka.

Slijedite korake u nastavku za uvoz prethodno obučenog PyTorch modela iz Hugging Face Dataseta:

Korak 1: Pokrenite Colab bilježnicu te instalirajte i uvezite potrebne biblioteke
Prvi korak je pokretanje bilježnice u Colab IDE i instaliranje biblioteka pomoću ' pip ' instalacijski program za pakete i uvezite ih pomoću ' uvoz ” naredba:

! pip instalirati gorionik
! pip instalirati transformatore

uvoz baklja
uvoz transformatori
od transformatora uvoz AutoModel

U ovom projektu potrebne su sljedeće biblioteke

' baklja ” je osnovna biblioteka PyTorcha.
' transformatori ” biblioteka sadrži funkcionalnost Hugging Face-a, njegove modele i skupove podataka:

Korak 2: Uvezite model iz Hugging Face
U ovom primjeru, model koji treba uvesti iz ' Lice koje grli ” baza podataka dostupna je na ovom veza . Koristiti ' AutoModel.from_pretrained() ” za uvoz prethodno obučenog modela iz Hugging Face kao što je prikazano u nastavku:

ime_pre_treniranog_modela = 'Helsinki-NLP/opus-mt-en-zh'
prethodno_uvježban_model = AutoModel. od_pretvježbano ( ime_pre_treniranog_modela )

ispisati ( prethodno_uvježban_model )

Gornji kôd radi na sljedeći način:

Kopirajte naziv modela s njegove web stranice na platformi Hugging Face i dodijelite ga ' ime_pre_treniranog_modela ” varijabla u Colabu.
Zatim upotrijebite ' AutoModel.from_pretrained() ” i unesite varijablu naziva modela kao njen argument.
Na kraju, koristite “ispis() ” za prikaz uvezenog modela u izlazu.

Unaprijed obučeni model uvezen s Hugging Face pokazat će donji rezultat:

Bilješka : Možete pristupiti našoj Colab bilježnici s pojedinostima o uvozu prethodno obučenog modela iz Hugging Face na ovom veza .

Stručni savjet

Hugging Face vrijedna je kolekcija velikih skupova podataka i složenih modela koji su besplatni za sve unutar projekata dubokog učenja. Također možete prenijeti vlastite skupove podataka kako bi ih drugi mogli koristiti, a platforma je prilagođena za suradnju među znanstvenicima i programerima podataka diljem svijeta.

Uspjeh! Pokazali smo kako uvesti prethodno obučeni PyTorch model pomoću biblioteke torchvision ili iz baze podataka Hugging Face pomoću biblioteke transformatora.

Zaključak

Za uvoz prethodno obučenog modela u PyTorch, korisnici mogu koristiti biblioteku torchvision ili iz online baze podataka Hugging Face pomoću biblioteke transformatora u Google Colabu. Ovi unaprijed uvježbani modeli koriste se kako bi se izbjeglo trošenje dragocjenog vremena i hardverskih resursa na obuku i priješli izravno na testiranje novih podataka za vjerodostojne zaključke. U ovom smo blogu pokazali dvije metode za uvoz unaprijed obučenih modela u PyTorch.

Kako uvesti prethodno obučeni model u PyTorch?