Apple urýchľuje vyhľadávanie pre RAG malými neurónovými sieťami SupportNet a KeyNet
Čo sa stalo
Výskumníci z Apple predstavili na konferencii ICML 2026 prácu o zrýchlení vyhľadávania maximálneho vnútorného súčinu (MIPS), ktoré je základom aj pre RAG. Natrénovali malé neurónové siete jednorazovo a offline pre pevnú databázu kľúčov. Siete sa učia smerovať dotazy k najlepšej zhode rýchlejšie.
Prvá architektúra, SupportNet, nahrádza smerovanie podľa centroidov v systémoch IVF. Na datasete Natural Questions rozdelenom do 128 zhlukov dosiahla malá verzia 95 % presnosť smerovania asi 1,9× rýchlejšie ako centroidy, teda za 1,74 ms oproti 3,36 ms.
Druhá architektúra, KeyNet, funguje ako prepisovač dotazov pred štandardným indexom. Najväčší model dosiahol 99 % presnosť až približne 8× rýchlejšie, za 0,23 ms oproti 1,8 ms pri pôvodnom dotaze.
Prečo na tom záleží
Bežné metódy sa sústreďujú na vlastnosti kľúčov a málo zohľadňujú, ako vyzerajú dotazy. Pri RAG pritom ide o krátke otázky používateľov, zatiaľ čo kľúče sú dlhé a prepracované texty.
Pri skenovaní iba 5 % databázy našli naučené smerovače správny oddiel v približne 90 až 93 % prípadov. Centroidová metóda dosiahla 87,5 %.
Čo s tým
Ak prevádzkuješ RAG nad stabilnou databázou a dotazy sú podobného typu, sleduj tento prístup. Hodí sa najmä vtedy, keď je latencia vyhľadávania úzke miesto.
Metódy sa dajú napojiť na existujúcu infraštruktúru približného vyhľadávania. Pred nasadením si ich over na vlastných dotazoch.
Zdroj: machinelearning.apple.com