Operator.net: сигурността не е инструкция, а архитектура

В последните две години няма конференция, форум или конгрес по киберсигурност, на които да не се задава един и същ въпрос: „Колко безопасни са AI агентите за бизнеса? Няма ли те да се превърнат в най-слабото звено и да доведат до изтичане на вътрешнофирмена информация?“ Истината е тревожна, но и успокояваща – AI агентите могат да бъдат рискови, но само ако разчитаме на тях самите да се пазят.

А това е невъзможно.

Защо „инструкциите“ не са достатъчни?

Една общоприета илюзия е убеждението, че безопасността при AI алгоритмите идва от „добрите промптове“ (инструкции), зададени на агента от неговите създатели. Разработчиците се опитват да „възпитат“ AI какво „не трябва“ да прави, какви данни „не трябва“ да споделя или да приема. Това е като да инструктираш дете да не пипа горещ котлон – работи, докато не срещне по-хитър манипулатор.

Подобна безопасност е непосилна – буквално. Рано или късно, ако агентът има достъп до нещо, а този достъп се пази само чрез словесна инструкция, ще се намери начин той да бъде подмамен (например чрез инжектиране на злонамерени инструкции).

Сигурност по замисъл: философията на Operator.net

При Operator.net подходът е коренно различен. Тук безопасността не е добавена чрез „рамки“ – тя е замислена в самия дизайн на системата. Това е така наречената сигурност „by design“.

AI агентите за бизнес дейности „седят“ върху ERP системата на фирмата. Именно там се крие ключовият въпрос:

Кой потребител в ERP системата до какво има достъп?

Operator.net няма права за достъп до системата, каквито има съответният потребител. „Операторът”, един вид, ги наследява. Агентът няма собствена самоличност – той действа строго в границите на потребителя, който го използва.

Ако даден служител има достъп само до фактурите на отдел „Продажби“, то Operator.net ще вижда само фактурите на отдел „Продажби“. Няма механизъм, по който агентът да „надскочи“ позволеното за профила си. С Operator.net няма как да се доберем до информация, която не ни е позволено да виждаме като потребител.

Неговите сетива

В известен смисъл можем да мислим за AI агента като за човешко тяло, на което сме дали очи, уши и ръце.

Какво могат да видят очите? – Това, което потребителят вижда.

Какво могат да чуят ушите? – Това, което потребителят чува.

Какво могат да пипнат ръцете? – Само документите и модулите, разрешени за този потребител.

Агентът няма начин да надникне отвъд това. Той съществува в ограничена среда и може да прави точно толкова, колкото ограничената среда позволява на потребителя.

Ами атаките чрез промпт? (Prompt Injection)

Тук идва най-логичният въпрос: „Добре, де, но не може ли някой да инжектира злонамерени команди в промпта и така да надхитри агента?“

Да, възможно е някой да инжектира злонамерени инструкции. А те могат да се опитат да му „бъркат в мозъка“. Но дори да успеят да променят поведението му, той разполага само с дадените му „очи, уши и ръце“.

Агентът може да бъде объркан, смутен, но той не може да ни даде това, което няма, и не може да издаде това, което не знае. Това е границата, която не може да бъде прекрачена с думи.

В частност, в клиентски режим, когато външен клиент влиза и комуникира с Operator.net, сигурността отново е проектирана на ниво архитектура: системата знае, че този потребител е външен. Следователно ERP системата автоматично му дава достъп само до публичната или специално разрешената за клиенти информация. Агентът няма власт да промени това – той само изпълнява правилата, които му налага ERP средата.