Kako koristiti međuspremnik tokena razgovora u LangChainu?

Kako Koristiti Meduspremnik Tokena Razgovora U Langchainu



LangChain omogućuje razvojnim programerima izradu modela korištenjem strojnog učenja ili dubokog učenja koje može trenirati modele pomoću skupova podataka. Ovi modeli mogu dobiti različite uzorke iz podataka ili razumjeti oblik skupa podataka i njegov jezik kako bi izvukli informacije. Veliki jezični modeli ili LLM mogu se konfigurirati ili dizajnirati pomoću okvira LangChain koji mogu razumjeti i generirati tekst na prirodnim jezicima.

Ovaj će vodič ilustrirati postupak korištenja međuspremnika tokena razgovora u LangChainu.

Kako koristiti međuspremnik tokena razgovora u LangChainu?

The ConversationTokenBufferMemory biblioteka se može uvesti iz okvira LangChain za pohranjivanje najnovijih poruka u međuspremniku. Tokeni se mogu konfigurirati za ograničavanje broja poruka pohranjenih u međuspremniku, a ranije poruke automatski će se isprati.







Da biste naučili postupak korištenja međuspremnika tokena razgovora u LangChainu, upotrijebite sljedeći vodič:



Korak 1: Instalirajte module

Prvo instalirajte okvir LangChain koji sadrži sve potrebne module pomoću naredbe pip:



pip instalirati langchain





Sada instalirajte OpenAI modul za izgradnju LLM-ova i lanaca pomoću metode OpenAI():

pip instaliraj openai



Nakon instaliranja modula, jednostavno upotrijebite OpenAI API ključ za postaviti okruženje koristeći os i getpass knjižnice:

uvoz vas

uvoz getpass

vas . približno [ 'OPENAI_API_KEY' ] = getpass . getpass ( 'OpenAI API ključ:' )

Korak 2: Korištenje međuspremnika tokena razgovora

Izgradite LLM-ove pomoću metode OpenAI() nakon uvoza ConversationTokenBufferMemory biblioteka iz okvira LangChain:

iz langchain. memorija uvoz ConversationTokenBufferMemory

iz langchain. llms uvoz OpenAI

llm = OpenAI ( )

Konfigurirajte memoriju da postavite token, on ispire stare poruke i pohranjuje ih u međuspremnik. Nakon toga pohranite poruke iz razgovora i preuzmite najnovije da biste ih upotrijebili kao kontekst:

memorija = ConversationTokenBufferMemory ( llm = llm , max_token_limit = 10 )

memorija. spremi_kontekst ( { 'ulazni' : 'zdravo' } , { 'izlaz' : 'Kako si' } )

memorija. spremi_kontekst ( { 'ulazni' : 'Ja sam dobar, a ti' } , { 'izlaz' : 'ne mnogo' } )

Izvršite memoriju da dobijete podatke pohranjene u međuspremniku pomoću metode load_memory_variables():

memorija. load_memory_variables ( { } )

Korak 3: Upotreba međuspremnika tokena razgovora u lancu

Izgradite lance konfiguriranjem Lanac razgovora() metoda s višestrukim argumentima za korištenje međuspremnika tokena razgovora:

iz langchain. lanci uvoz Lanac razgovora

razgovor_sa_sažetkom = Lanac razgovora (
llm = llm ,
memorija = ConversationTokenBufferMemory ( llm = OpenAI ( ) , max_token_limit = 60 ) ,
opširno = Pravi ,
)
razgovor_sa_sažetkom. predvidjeti ( ulazni = 'Hej što ima?' )

Sada pokrenite razgovor postavljanjem pitanja koristeći upute napisane prirodnim jezikom:

razgovor_sa_sažetkom. predvidjeti ( ulazni = 'Samo radim na NLP projektu' )

Dobijte izlaz iz podataka pohranjenih u međuspremniku pomoću broja tokena:

razgovor_sa_sažetkom. predvidjeti ( ulazni = 'Samo radim na dizajniranju LLM-a' )

Međuspremnik se stalno ažurira sa svakim novim unosom jer se prethodne poruke redovito ispiru:

razgovor_sa_sažetkom. predvidjeti (

ulazni = 'LLM koristeći LangChain! Jeste li čuli za njega'

)

To je sve o korištenju međuspremnika tokena razgovora u LangChainu.

Zaključak

Za korištenje međuspremnika tokena razgovora u LangChainu, jednostavno instalirajte module za postavljanje okruženja pomoću API ključa s OpenAI računa. Nakon toga uvezite biblioteku ConversationTokenBufferMemory pomoću modula LangChain za pohranu razgovora u međuspremnik. Međuspremnik se može koristiti u lancu za brisanje starijih poruka sa svakom novom porukom u chatu. Ovaj post razradio je korištenje međuspremnika tokena razgovora u LangChainu.