Reasoning without Observation – ReWOO (Usuzování bez pozorování)

Tato technika je založena na principu vytváření promptů, které modelu umožňují provádět usuzování bez potřeby přímého pozorování.

Modulární paradigma ReWOO (Reasoning WithOut Observation), které odděluje proces usuzování od externích pozorování, čímž významně snižuje spotřebu tokenů. Komplexní hodnocení na šesti veřejných NLP benchmarkách a na vlastním datasetu ukazuje konzistentní zlepšení výkonu s naší navrhovanou metodologií. (Zdroj studie https://arxiv.org/abs/2305.18323)

Představte si to jako řešení hádanky nebo problému pouze na základě dostupných informací, aniž byste měli možnost přímo pozorovat situaci nebo kontext. Například, pokud máte hádanku, která se týká toho, co se stalo v určitém příběhu, ale nemáte možnost přímo pozorovat události v tomto příběhu, musíte se spolehnout na své schopnosti usuzování a dedukce, abyste mohli najít odpověď. Stejným způsobem může AI model použít techniku Usuzování bez pozorování k řešení úkolů, které vyžadují logické usuzování nebo dedukci.

Jako součást mé služby vám mohu nabídnout expertní využití techniky Usuzování bez pozorování pro vaše AI modely. Toto zahrnuje:

  1. Řešení logických problémů. ReWOO umožňuje modelům řešit hádanky, problémy a úkoly, které vyžadují logické myšlení. Modely mohou generovat hypotézy, provádět dedukci a dosáhnout závěrů pouze na základě informací poskytnutých v prompt

  2. Generování deduktivních odpovědí. Pokud potřebujete model, aby odpověděl na otázku, která vyžaduje dedukci na základě daných informací. mohu vytvořit prompt, který modelu umožní provést potřebné usuzování.

  3. Modulární Přístup: ReWOO odděluje proces usuzování od externích pozorování, což umožňuje modelům pracovat efektivněji a s menší spotřebou tokenů. To znamená, že modely se mohou zaměřit na interní logiku a strukturu informací, aniž by byly omezeny potřebou shromažďovat a analyzovat externí data.

ReWOO (Reasoning WithOut Observation) je technika, která odděluje proces uvažování od vnějších pozorování, jako je schopnost přístupu k informacím z reálného světa a jejich zpracování. Toto odpojení výrazně snižuje množství tokenů, které musí LLM spotřebovat, což následně zvyšuje efektivitu LLM. ReWOO rozdělil pracovní postup do tří samostatných modulů: Planner, Worker a Solver. Planner přijímá jako vstup otázku a rozkládá ji na posloupnost kroků. Každý krok je pak formulován jako plán. Plány jsou vzájemně závislé, což znamená, že výstup jednoho plánu se použije jako vstup do jiného plánu. Worker bere plán jako vstup a získává externí znalosti z nástrojů, které poskytují důkazy.

Systém ReWOO překonává systém ReAct. ReWOO dokázal snížit spotřebu tokenů o 64 % při absolutním nárůstu přesnosti o 4,4 %. Je schopen získat z LLM více argumentačních schopností než ReAct. Bylo také zjištěno, že ReWOO je odolnější vůči selhání nástroje než ReAct. Při selhání nástrojů a vrácení chyb jsou systémy ALM podobné ReActu velmi křehké. Naproti tomu systém ReWOO je ohrožen méně. Systém ReWOO si vedl dobře také v kurátorovaném souboru dat SOTUQA. SOTUQA je datová sada pro kontrolu kvality dokumentů, která se více blíží reálným aplikacím ALM než předchozí veřejné benchmarky NLP.

Systém ReWOO překonává systém ReAct. ReWOO dokázal snížit spotřebu tokenů o 64 % při absolutním nárůstu přesnosti o 4,4 %. Je schopen získat z LLM více argumentačních schopností než ReAct. Bylo také zjištěno, že ReWOO je odolnější vůči selhání nástroje než ReAct. Při selhání nástrojů a vrácení chyb jsou systémy ALM podobné ReActu velmi křehké. Naproti tomu systém ReWOO je ohrožen méně. Systém ReWOO si vedl dobře také v kurátorovaném souboru dat SOTUQA. SOTUQA je datová sada pro kontrolu kvality dokumentů, která se více blíží reálným aplikacím ALM než předchozí veřejné benchmarky NLP.