LangChain je okvir za izgradnju velikih jezičnih modela pomoću umjetne inteligencije tako da može generirati tekst i komunicirati s ljudima. Asyncio je biblioteka koja se može koristiti za pozivanje modela kao što je LLM više puta koristeći istu naredbu ili upit. Također pruža poticaj u brzini rada našeg LLM modela za učinkovito generiranje teksta.
Ovaj članak pokazuje kako koristiti biblioteku 'asyncio' u LangChainu.
Kako koristiti/izvršiti biblioteku 'asyncio' u LangChainu?
Async API može se koristiti kao podrška za LLM, tako da za korištenje asyncio biblioteke u LangChainu jednostavno slijedite ovaj vodič:
Instalirajte preduvjete
Instalirajte modul LangChain da počnete koristiti asyncio biblioteku u LangChainu za istovremeno pozivanje LLM-ova:
pip instalirati langchain
Modul OpenAI također je potreban za izgradnju LLM-ova pomoću OpenAIEmbeddings:
pip instalirati openai
Nakon instalacije jednostavno konfigurirajte OpenAI API ključ pomoću sljedećeg koda:
uvezi nasimport getpass
os.okolina [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'OpenAI API ključ:' )
Korištenje asyncio za izgradnju LLM-a
Biblioteka asyncio može se koristiti za podršku LLM-ovima jer je sljedeći kod koristi u LangChainu:
uvoz vrijemeimport asyncio
#Uvoz asincijskih biblioteka iz LangChaina za njegovu upotrebu
iz langchain.llms uvozi OpenAI
#definirajte funkciju za dobivanje vremenske oznake serijskog generiranja
def generirati_serijski ( ) :
llm = OpenAI ( temperatura = 0.9 )
za _ u domet ( 5 ) :
resp = llm.generirati ( [ 'Što radiš?' ] )
ispisati ( odn.generacije [ 0 ] [ 0 ] .tekst )
#definirajte funkciju za dobivanje vremenske oznake sinkrone generacije
async def async_generirati ( llm ) :
resp = čekati llm.agenerirati ( [ 'Što radiš?' ] )
ispisati ( odn.generacije [ 0 ] [ 0 ] .tekst )
#definirajte funkciju za dobivanje vremenske oznake istovremenog generiranja podataka
async def create_concurrently ( ) :
llm = OpenAI ( temperatura = 0.9 )
zadaci = [ asinkrono_generiranje ( llm ) za _ u domet ( 10 ) ]
čekati asyncio.sakupiti ( * zadaci )
#konfigurirajte rezultirajući izlaz koristeći asyncio za dobivanje istodobnog izlaza
s = vrijeme.perf_counter ( )
čekaj generiraj_istovremeno ( )
proteklo = vrijeme.perf_counter ( ) - s
ispisati ( '\033[1m' + f 'Istovremeno izvršeno za {elapsed:0.2f} sekundi.' + '\033[0m' )
#konfigurirajte vremensku oznaku za rezultirajući izlaz da biste dobili serijski izlaz
s = vrijeme.perf_counter ( )
generirati_serijski ( )
proteklo = vrijeme.perf_counter ( ) - s
ispisati ( '\033[1m' + f 'Serija je izvršena za {elapsed:0.2f} sekundi.' + '\033[0m' )
Gornji kod koristi asyncio biblioteku za mjerenje vremena za generiranje tekstova pomoću dvije različite funkcije kao što su generiraj_serijski() i generiraj_istovremeno() :
Izlaz
Sljedeća snimka zaslona prikazuje da je vremenska složenost za obje funkcije i vremenska složenost istovremenog generiranja teksta bolja od serijskog generiranja teksta:
To je sve o korištenju biblioteke 'asyncio' za izgradnju LLM-a u LangChainu.
Zaključak
Da biste koristili asyncio biblioteku u LangChainu, jednostavno instalirajte LangChain i OpenAI module da biste započeli s procesom. Async API može biti od pomoći pri izgradnji LLM modela za stvaranje chatbota za učenje iz prethodnih razgovora. Ovaj vodič objasnio je postupak korištenja asyncio biblioteke za podršku LLM-ovima pomoću okvira LangChain.