U ovoj eri, Transformers su najmoćniji modeli koji su dali najbolje rezultate u više NLP (Natural Language Processing) operacija. U početku se koristio za zadatke modeliranja jezika uključujući generiranje teksta, kao i klasifikaciju, strojno prevođenje i mnoge druge. Ali sada se također koristi za prepoznavanje objekata, klasifikaciju slika i brojne druge zadatke računalnog vida.
U ovom tutorijalu pružit ćemo postupak za izvođenje klasifikacije teksta pomoću Transformersa.
Kako izvršiti klasifikaciju teksta pomoću transformatora?
Da biste izvršili klasifikaciju teksta pomoću Transformersa, prije svega instalirajte ' transformatori ” knjižnica izvršavanjem navedene naredbe:
! pip instalirati transformatori
Kao što vidite, navedena biblioteka je uspješno instalirana:
Zatim uvezite ' cjevovod ' od ' transformatori ” knjižnica:
iz transformatora uvozni cjevovod
Ovdje, ' cjevovod ” uključivat će NLP zadatak koji trebamo izvršiti i željeni model transformatora za ovu operaciju zajedno s tokenizatorom.
Bilješka: Tokenizer se koristi za izvođenje obrade teksta koji treba unijeti u model razdvajanjem teksta na tokene.
Nakon toga upotrijebite ' cjevovod() ' funkciju i proslijedite joj ' zero-shot-classification ” kao argument. Zatim proslijedite još jedan parametar koji je naš model. Koristimo Facebookov ' BART ” model transformatora. Ovdje ne koristimo tokenizator jer se može automatski izvesti prema navedenom modelu:
tekst_klasifikator = cjevovod ( 'klasifikacija nula pogodaka' , model = 'facebook/bart-large-mnli' )
Sada, proglasite ' seq ” varijabla koja sadrži naš ulazni tekst koji treba klasificirati. Zatim dajemo kategorije u koje želimo klasificirati tekst i spremamo ih u ' laboratorija ” koji je poznat kao oznake:
laboratorij = [ 'Ažuriraj' , 'pogreška' , 'važno' , 'verifikacija' ]
Na kraju, pokrenite cjevovod zajedno s unosom:
Nakon izvođenja cjevovoda, kao što možete vidjeti, model je predvidio naš dani niz koji treba klasificirati:
Dodatne informacije: Ako želite ubrzati performanse modela, trebate koristiti GPU. Ako da, tada u tu svrhu možete navesti argument uređaja za cjevovod i postaviti ga na ' 0 ” za korištenje GPU-a.
Ako želite klasificirati tekst na više od jedne naredbe slijeda/ulaznog teksta, možete ih dodati na popis i proslijediti ga kao unos u cjevovode. U tu svrhu pogledajte isječak koda:
seq = [ 'Lektura i uređivanje neophodne su komponente za osiguranje jasnoće, koherentnosti i sadržaja bez grešaka' ,'U ovom modernom dobu SEO optimizacija ključna je za dobro rangiranje članaka i dosezanje šire publike' ]
tekst_klasifikator ( seq , lab )
Izlaz
To je to! Sastavili smo najlakši način za izvođenje klasifikacije teksta pomoću Transformersa.
Zaključak
Transformatori se koriste za izvođenje zadataka jezičnog modeliranja, kao što je generiranje teksta, klasifikacija teksta i strojno prevođenje, kao i zadataka računalnog vida uključujući prepoznavanje objekata i klasifikaciju slika. U ovom vodiču smo ilustrirali postupak za izvođenje klasifikacije teksta pomoću Transformersa.