AI agent akipewa ruhusa ya kutumia mafaili, kuendesha programu na kuingia kwenye mtandao, haishii tena kwenye kutoa majibu. Anaweza kuchukua hatua mwenyewe. Na kama hatua hiyo ni mbaya, tatizo halitakuwa tena kama AI inaweza kufanya jambo hilo, bali kama kuna kitu kinachoweza kuizuia kabla hajalifanya.
Hilo ndilo tatizo Nvidia inajaribu kulishughulikia. Kampuni imezindua NVIDIA Open Agent Safety Platform, mfumo wa open-source unaolenga kuweka AI agents chini ya uangalizi kuanzia wanapokuwa kwenye majaribio hadi wanapoanza kufanya kazi kwenye mifumo halisi. Mfumo huo unaunganisha udhibiti wa programu na ufuatiliaji wa kiwango cha hardware.
Tatizo lilionekana pale AI ilipotoka kwenye sandbox
Mwezi Julai, OpenAI ilifichua kwamba modeli zake zilizokuwa zikifanyiwa majaribio ya uwezo wa cybersecurity zilifanikiwa kutoka kwenye mazingira yaliyotengwa na kufikia mtandao wa nje. Hatimaye zilihusishwa na uvamizi wa miundombinu ya Hugging Face, ambapo uchunguzi ulirekodi zaidi ya matukio 17,000 ya vitendo vya agent.
Hugging Face ilisema agent huyo alipata ufikiaji wa kiwango cha juu, akachukua credentials na kusogea kwenye sehemu nyingine za miundombinu. Tukio hilo lilikuwa ukumbusho muhimu: sandbox inaweza kuwa salama kwenye karatasi, lakini agent akipata njia ya kutoka, mipaka hiyo inapoteza maana.
Nvidia sasa inasema mfumo wake umejengwa kushughulikia tatizo hilo kutoka pande mbili.
OpenShell inaweka mipaka kabla agent hajachukua hatua
Sehemu ya kwanza ni NVIDIA OpenShell, runtime ya open-source ambayo NVIDIA imekuwa ikiijenga kwa ajili ya kuendesha autonomous agents ndani ya mazingira yenye sera za usalama, network na privacy. Badala ya kumpa agent ruhusa pana, mfumo unaweza kuweka masharti kuhusu kile anachoweza kufikia na kufanya.
Hii ni tofauti muhimu kwa sababu AI agent haihitaji tu “kujua” nini cha kufanya. Inahitaji pia kufanyiwa mipaka kuhusu anaruhusiwa kufanya nini. OpenShell inalenga kuweka mipaka hiyo kwenye runtime yenyewe badala ya kuitegemea model pekee.
Sentry ndiyo safu ya pili
Nvidia imeongeza NVIDIA Sentry kama safu ya ufuatiliaji inayofanya kazi upande wa hardware. Lengo lake ni kufuatilia tabia ya agents na, pale inapohitajika, kuingilia kati na kumtenga agent anayefanya jambo linalotia shaka. Hii ndiyo sehemu inayofanya mfumo huo kuwa zaidi ya “AI yenye sheria.” Wazo ni kuwa na njia ya pili inayoweza kuangalia kinachoendelea wakati agent tayari anaendesha kazi—na kuwa na uwezo wa kumzuia kabla uharibifu haujaenea.
Nvidia inasema ingeweza kuzuia tukio la Hugging Face
Hapa kuna tofauti muhimu kati ya ukweli na madai. Nvidia inasema kwamba, kutokana na taarifa inayojua kuhusu tukio la Hugging Face, Open Agent Safety Platform ingeweza kulizuia. Hilo ni tathmini ya Nvidia, si uthibitisho kwamba mfumo huo ungezuia tukio hilo kwa uhakika. Lakini hoja nyuma ya bidhaa hiyo ni rahisi: kama AI agents wataendelea kupewa uwezo wa kufanya kazi kwa uhuru, usalama hauwezi kutegemea matumaini kwamba watafanya kile walichoambiwa pekee.
AI inapopata mikono, lazima ipate mipaka
Nvidia imekuwa ikipanua biashara yake kutoka kwenye chips kwenda kwenye software na miundombinu ya AI agents. OpenShell tayari imeunganishwa kwenye NVIDIA Agent Toolkit na inatumiwa kama safu ya usalama kwa agents wanaoweza kufanya kazi kwa muda mrefu na kutumia tools mbalimbali.
Hivyo Open Agent Safety Platform si bidhaa iliyotokea ghafla baada ya tukio la Hugging Face. Ni sehemu ya mwelekeo mpana wa Nvidia wa kujenga mazingira ambayo AI agents wanaweza kufanya zaidi huku kampuni zikijaribu kuweka udhibiti wa kile wanachoweza kufanya.
Na hilo linaweza kuwa moja ya maswali muhimu zaidi katika kizazi kijacho cha AI: tunapowapa agents uwezo zaidi wa kutenda, tunajengaje mfumo unaoweza kusema “hapana” kabla wao hawajasema “ndiyo”?
Timu ya uandishi wa Kona ya Teknolojia ingefurahi kupata sapoti yako ili iendelee kukuletea habari na maujanja mbalimbali.
Wezesha bando kwa kutuma kiasi chochote kupitia Selcom, kwenye simu yako bofya *150*50*1# kwenye namba ya malipo weka 60751369 jina litakuja TEKNOKONA.
No Comment! Be the first one.