Microsoftov VisualGPT objavljuje novu tehnologiju ' VisualGPT ” koji je napredak AI i otvara mogućnosti za privlačnija i interaktivnija AI iskustva premošćivanjem jaza između vizualnog i jezika.
Što je VisualGPT?
VisualGPT je proširena verzija ChatGPT-a koja se temelji na NLP (Natural Language Processing) modelima, ali u VisualGPT-u se koristi VFMS koji može pretvoriti tekstualne upite u slikovni oblik. Takav je da je kombinacija/integracija upita teksta i slike.
Svrha VisualGPT-a
Nakon puštanja ChatGPT-a na tržište koji je radio samo na tekstualnom formatu, za postizanje sljedeće razine napretka postoji savršeni alat koji će raditi na tekstualnom u grafičkom formatu, slijedeći sve ove razloge i u utrci za AI napredak Microsoft izdaje VisualGPT Glavna svrha VisualGPT-a je stvaranje AI slika na zahtjev korisnika ili analiza slike
Arhitektura VisualGPT-a
VisualGPT sadrži korisnički upit, Upravitelj odzivnika, Visual Foundation Models (VFMs), System Principle, History of Dialogue, History of Reasoning, i Intermediate Answer.
Ako konkretno govorimo o njegovom modelu, tj. VFM (modeli vizualnih temelja) “, koriste se gotovo 22 VFM-a, poput BLIP-a (Bootstrapping Language-Image Pre-training) i Stable Diffusion.
Kako pokrenuti Visual ChatGPT?
Da biste pokrenuli Visual ChatGPT, razmotrite sljedeće korake:
Korak 1: Stvorite okruženje
Prvo morate stvoriti okruženje Python verzije 3.8:
uvoz sys
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
Korak 2: Klonirajte datoteku Visual ChatGPT
Sada klonirajte vizualnu ChatGPT datoteku s GitHuba pomoću sljedeće naredbe:
! git klon https: // github.com / deepanshu88 / visual-chatgpt.git 
Korak 3: Postavite novi direktorij
Nakon toga, postavite novi direktorij putem dolje navedene naredbe:
% CD vizualni-chatgptKorak 4: Instalirajte potrebne pakete
Sada instalirajte potrebne pakete koristeći ' pip ” cmdlet:
! kovrča https: // bootstrap.pypa.io / get-pip.py -O get-pip.py! python3.8 get-pip.py
! python3.8 -m pip instalirati -r zahtjevi.txt
Korak 5: Pristupite OpenAI API-ju
Nakon instaliranja početnih paketa, pristupite OpenAI API-ju dobivanjem API ključa od “platform.openai.com” i upućivanjem provjerenih API poziva:
% okruženje OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxKorak 6: Odaberite model
Na kraju, nakon pristupa Openaiju odaberite model, postoji više od 20 modela koji se koriste u visualGPT-u koje možete odabrati prema svojim zahtjevima:
! python3.8 . / visual_chatgpt.py --opterećenje Text2Image_cuda: 0U gornjoj naredbi, ' Tekst2Slika ” odgovara modelu koji će se koristiti. Za više detalja provjerite ovaj Google Colab bilježnica .
Zaključak
ChatGPT je uveden kako bi se dobili konkretni odgovori na bilo koji upit, a sada je Microsoft pokrenuo VisualGPT koji se može nositi s tekstualnim kao i slikovnim podacima. Takav je da korisnik može jednostavno dodati svoje zahtjeve u tekstualnom obliku i dobiti njegov grafički izlaz.