Porozumění přirozenému jazyku v knihovních výzkumných platformách - poznatky z betaverze EBSCO Natural Language Search

Porozumění přirozenému jazyku (Natural Language Understanding, NLU) stojí v popředí umělé inteligence ve vyhledávání. Nová beta funkcionalita EBSCO Discovery Service (EDS) a EBSCOhost nazvaná Natural Language Search kombinuje inteligenci syntaktické analýzy NLU s robustním vyhledávacím algoritmem, který společnost EBSCO vyvinula během desetiletí testování a konfigurace pro specifické potřeby výzkumných pracovníků. 

Společnost EBSCO využívá sílu NLU v knihovních výzkumných platformách, aby zvýšila efektivitu výzkumu a zlepšila jeho kvalitu. Zatímco NLU je technologií, která stojí za novým způsobem vyhledávání v přirozeném jazyce EBSCO Discovery Service a EBSCOhost, pokročilé vyhledávání je stále uznáváno, přičemž nevyužívá umělou inteligenci. Spojením výkonu vyhledávače s NLU se společnost EBSCO zaměřuje na vývoj adaptivního vyhledávání, které zohledňuje preference i úroveň zkušeností všech uživatelů.

V srpnu až září 2024 provedla společnost EBSCO beta testování nového režimu vyhledávání v přirozeném jazyce na platformách EBSCO Discovery Service a EBSCOhost s 60 uživateli z řad vysokoškolských studentů a s 30 pokročilými výzkumníky. Z tohoto uživatelského průzkumu vyplynuly následující poznatky.

Natural Language Search společnosti EBSCO je pokročilá funkce, která využívá NLU k přesnějšímu zpracování uživatelských dotazů a zajišťuje, aby byl dodržen záměr uživatele. To vede k přesnějším výsledkům vyhledávání, což je zásadní pro výzkumné pracovníky, kteří potřebují rychle najít konkrétní informace. Nástroj Natural Language Search, který je přístupný prostřednictvím možností Advanced Search Modes, doplňuje tradiční metody vyhledávání tím, že chápe a respektuje kvalifikátory a parametry uživatelů při vyhledávání, aniž by uživatelé museli „luštit kód“ pokročilejších vyhledávacích funkcí, dokud to nebude potřeba v další fázi jejich výzkumu. 

Jak poznamenal jeden respondent:

„Byl jsem ohromen pokrytím a relevancí vyhledávání Natural Language Search, protože našel prvky, které nebyly tak snadno dostupné v porovnání s vyhledáváním čistě podle klíčových slov. Zároveň jsem viděl přínos algoritmu společnosti EBSCO, protože mi nepřipadal jako izolované sémantické vyhledávání bez kontextu. Myslím, že méně zkušení uživatelé budou těžit ze snadného používání přirozeného jazyka, zatímco zkušenější budou mít možnost koncipovat vyhledávání, které může stále využívat klíčová slova/metadata a sémantické vyhledávání (a také jim přiblížit nové oblasti mimo jejich odbornost).“

- Účastník beta výzkumu

Skupina  pokročilých uživatelů se účastnila průzkumu, ve kterém měli provést alespoň tři vyhledávací dotazy v přirozeném jazyce s vypnutým režimem vyhledávání v přirozeném jazyce a poté další se zapnutým režimem vyhledávání v přirozeném jazyce. Účastníci byli dotázáni na své první dojmy na stupnici 1-5, poté byli požádáni, aby ohodnotili relevanci výsledků každého z nich na stupnici 1-5, a nakonec měli uvést, zda by funkci zapnuli, kdyby byla k dispozici.

Podobně se při uživatelském testování vysokoškoláků použil A/B test, kdy byl dotaz na vyhledávání v přirozeném jazyce proveden ve stejném rozhraní EDS, ale v jednom případě se zapnutým režimem vyhledávání v přirozeném jazyce a v druhém s vypnutým režimem. Studenti byli opět dotázáni, aby ohodnotili relevanci každého z nich na stupnici 1-5.

Na otázky týkající se jejich dojmů z vyhledávání v přirozeném jazyce odpovídali respondenti následovně:

• 57 % výzkumných pracovníků mělo z vyhledávání v přirozeném jazyce pozitivní dojem, přičemž 27 % považovalo za užitečné jak vyhledávání v přirozeném jazyce, tak tradiční režim vyhledávání.
• V průměru 74 % výzkumných pracovníků považovalo vyhledávání v přirozeném jazyce za vysoce relevantní.
• 67 % účastníků vysokoškolského studia uvedlo, že jejich zkušenosti s vyhledáváním v Natural Language Search byly lepší než u jiných vyhledávačů, které používali pro své výzkumné potřeby.
• 87 % vysokoškolských účastníků uvedlo, že bylo snazší získat kvalitní výsledky vyhledávání pomocí Natural Language Search.
• U pokročilých výzkumníků 63 % uvedlo, že by si vyhledávání v přirozeném jazyce zapnuli jako svůj vyhledávací režim. 

Společná témata naznačovala, že vyhledávání v přirozeném jazyce má potenciál doplnit tradiční metody vyhledávání, přičemž položky jako otázky a kvalifikátory ve vyhledávání mohou být lépe řešeny v režimu vyhledávání v přirozeném jazyce.

Když beta testeři zadávali do vyhledávače otázky:

„Zdá se, že je to uživatelsky velmi přívětivé v tom smyslu, že pro zahájení výzkumu není nutné žádné pokročilé vyhledávání. Zjednodušuje to vyhledávání a zpřístupňuje ho začátečníkům a nováčkům.“ - Účastník beta výzkumu

Když betatesteři vyhledávali pomocí kvalifikátorů, které nejsou logické:

„Použil jsem skutečná vyhledávání studentů komunitní vysoké školy a byl jsem zcela ohromen tím, jak nástroj umělé inteligence dokázal získat relevantní výsledky ze špatně strukturovaných vyhledávání. Když jsem použil stejná vyhledávání s tradičním proximitním vyhledáváním, často jsem získal 0 výsledků. Například vyhledávání s následujícími údaji: Jak na nás působí dehumanizující jazyk, získalo 0 výsledků, ale nástroj AI našel mnoho relevantních výsledků, které se zobrazily na první stránce. Další příklad: Faktory bezpečnostních opatření při násilí se zbraní na středních školách. Při tradičním vyhledávání 0 výsledků, ale nástroj AI našel několik relevantních článků. V mnoha dalších vyhledáváních, která jsem prováděl, našlael nástroj AI relevantní zdroje, zatímco tradiční vyhledávání zobrazilo ty, které nebyly vhodné.“ - Účastník beta výzkumu 

Respondenti průzkumu uváděli, že vyhledávání v přirozeném jazyce pomáhá urychlit proces vyhledávání tím, že snižuje stres z dokonalého vyhledávání, a mnozí byli „překvapeni“, že režim vyhledávání zachytil kontext jejich vyhledávání. Tuto výhodu ocenili zejména vysokoškolští studenti i pokročilí výzkumníci, kteří si pochvalovali úsporu času díky tomu, že režim vyhledávání zobrazuje pouze články, které odpovídají jejich specifickým potřebám.

„Nástroje dokáží zachytit kontext vyhledávacího dotazu, což vede k přesnějším a relevantnějším výsledkům vyhledávání. To pomáhá při zpřesňování vyhledávání a poskytování výsledků, které úzce souvisejí s výzkumnou otázkou uživatele.“ - Účastník beta výzkumu

Některé ze společných námětů na zlepšení se týkaly toho, aby režim vyhledávání v přirozeném jazyce buď rozpoznal, že je prováděn logický dotaz, a automaticky se přepnul do tradičního režimu vyhledávání, anebo aby režim vyhledávání v přirozeném jazyce lépe řešil logické dotazy, zejména ty s operátorem NOT. Dalším tématem bylo, že režim vyhledávání v přirozeném jazyce vyhledává příliš mnoho výsledků, což by mohlo být pro výzkumníka zahlcující.

„Rozdíl mezi množstvím vygenerovaných výsledků vyhledávání při použití betaverze přirozeného jazyka a tradičního proximitního vyhledávání byl ohromující. Často na dotazy při použití NL vyhledávání bylo vygenerováno až 20 000 výsledků, zatímco pomocí nástroje proximity search jich bylo zobrazeno jen 10-500. Velké množství výsledků sice poněkud ztěžuje zúžení vyhledávání, tento problém ale do určité míry zmírňují předmětové termíny.“ - Účastník beta výzkumu

Účastníci kladli široké spektrum dotazů. Někteří přistupovali k vyhledávání v přirozeném jazyce jako k vyhledávání klíčových slov (vyhledávání beta testera: „hotdogs“), zatímco jiní zadávali otázky (vyhledávání beta testera: „Jaký byl vztah mezi hnutím za volební právo žen a prohibicí?") nebo konkrétní dotazy s kvalifikátory (vyhledávání nejlepšího testera: ‚Epidurální zákroky, ale bez porodu‘). Někteří pokročilí badatelé přiznali, že se pokoušeli „rozbít“ vyhledávání náhodnými nebo obtížnými dotazy (vyhledávání beta testera: „xenomorfní umění v Egyptě nebo léto“), aby otestovali odolnost režimu vyhledávání s obtížnými dotazy (v tomto příkladu beta tester uvedl, že „výsledek je mnohem relevantnější ve druhém [vyhledávání v přirozeném jazyce], aniž by byl dokonalý... [kde] se objevily dokumenty, které nám umožňují vytvořit kontext, z něhož se můžeme zaměřit na téma.“). Je naplánováno další testování, jehož cílem je prozkoumat výhody a zlepšení jednotlivých režimů vyhledávání pro konkrétní typy vyhledávání. 

Na základě zpětné vazby beta testerů společnost EBSCO upravila hranici pro relevantní vyhledané dokumenty, aby snížila vysoký počet vyhledaných dokumentů v seznamu výsledků. Společnost EBSCO také vylepšuje způsob, jakým vyhledávání v přirozeném jazyce zpracovává booleovské dotazy, a kromě toho provádí rozmanitější testování dotazů, jako jsou různé otázky a kvalifikátory, dlouhé dotazy a negativní vyhledávání, aby se zátěžově otestovaly hranice nového režimu vyhledávání.

Zatímco většina vyhledávání v beta verzi byla prováděna v angličtině, někteří uživatelé vyhledávající ve francouzštině uvedli, že by chtěli, aby vyhledávání v přirozeném jazyce identifikovalo jazyk jejich dotazu a ve výsledcích zohlednilo obsah ve stejném jazyce. Dalším zjištěním bylo, že každý z účastníků chápal pojem „přirozené vyhledávání“ jinak, takže se provádí další hodnocení toho, jak je tento režim vyhledávání označen a zdokumentován.

Častou otázkou byla také transparentnost toho, jak je vyhledávání v přirozeném jazyce implementováno. 

„Pomocí booleovského vyhledávání mohu uživatele naučit, jak vyhledávání upravit tak, aby fungovalo, nebo špatné vyhledávání upravit tak, aby fungovalo s novými výrazy nebo tematickými hesly. Naproti tomu neexistuje způsob, jak s jistotou tvrdit, proč výsledky vyhledávání s umělou inteligencí fungují nebo nefungují. To je velký problém práce s něčím, co je černou skříňkou.“  - Účastník beta výzkumu

Knihovníci chtějí mít jasno v tom, jak funguje syntaktická analýza a jaká případná rozšíření se dějí. Z toho vyplývá, že probíhají testy na přidání vrstvy transparentnosti, která by zobrazovala, jak byl dotaz zadán, dále, že k rozboru dotazu byla použita umělá inteligence, a také že byla zkoumána možnost kombinace výhod tradičního vyhledávání a vyhledávání v přirozeném jazyce. Ačkoli mnozí jsou stále na vážkách, jak se bude vyhledávání v přirozeném jazyce používat v jeho aktuálním stavu, zdálo se, že mnozí doufají a jsou ochotni testovat znovu, jakmile dojde k dalším vylepšením.

Většina se shodla na tom, že vyhledávání v přirozeném jazyce by usnadnilo výzkum v knihovně začínajícím badatelům. Jeden z účastníků uvedl: „Přišlo mi to velmi jednoduché a přímočaré, vidím to jako velmi užitečný nástroj pro studenty,“ a další uvedl: „Studentům to usnadní získávání relevantních výsledků, aniž by se museli učit pokročilé techniky vyhledávání.“ Většina se také shodla na tom, že tradiční vyhledávání zůstává jejich základem pro provádění a výuku pokročilého výzkumu.

Cenná zpětná vazba od účastníků již nyní vede k vylepšení režimu vyhledávání. Celkově se zdá, že režim vyhledávání v přirozeném jazyce doplňuje tradiční režim vyhledávání. Pokud si uživatel není jistý, jak vyhledávání sestavit, a knihovník mu není k dispozici, aby mu pomohl, vyhledávání v přirozeném jazyce mu pomůže dostat se do vyhledávání a zahájit ho. Bylo zjištěno, že vyhledávání v přirozeném jazyce nejvíce pomáhá u jednoduchých otázek nebo otázek s kvalifikátory. I když je stále co zlepšovat, vyhledávání v přirozeném jazyce již zlepšuje výsledky specifického způsobu vyhledávání, které tradičnější vyhledávání nezvládá dobře. A na druhé straně je tradiční vyhledávání stejně silné jako doposud při získávání relevantních výsledků z booleovských dotazů. Spojení těchto výhod do jednoho vyhledávacího prostředí, které dokáže vyhovět všem vyhledávacím vzorům, a také průběžné budování dalších výhod vyhledávání, je to, co jsme se z tohoto projektu naučili.

Další zjištění se týká umělé inteligence obecně. Stále existuje mnoho nejasností v tom, jak lze umělou inteligenci v akademické sféře využívat, a také v tom, jak umělá inteligence funguje. Stejně jako v případě ostatních AI v EBSCO se snažíme vytvářet výukové materiály, dokumentovat, jak AI používáme, a zajistit, abychom při porozumění umělé inteligenci a jejím vhodným využitím spolupracovali jak s vydavateli, tak se zákazníky.

Společnost EBSCO spustila AI Beta Program v červnu 2024. V roce 2025 chystáme publikovat vědecký článek zaměřený na to, jak naše práce a poznatky zapadají do širšího vědeckého výzkumu AI v akademické sféře.