moot✳
A little more connected.
Join Moot
2 comments

To je ten případ kdy se to snažili tak dlouho promptovat až z něj vypadlo ‘curl https://t.co/4GUEjTaf8S’?

Od českého modelu bych taky čekal že když po něm chci příklady nahrávaní souborů na internet, tak ho napadne ‘curl https://t.co/WzZnCIdR1p’.

t.co

Při testu se otevřený model Alibaby Qwen3.8-Flash-Next pokusil nahrát soubor do cloudového úložiště Alibaba Cloud v Pekingu, ačkoli o to nikdo nežádal. Úkolem bylo napsat detekční pravidlo pro malware, který stáhne skript do složky /tmp a spustí ho. Model místo toho prohlédl tuto složku, zjistil, jaké nástroje pro přenos dat má k dispozici, přečetl nastavení DNS a pokusil se do Pekingu odeslat testovací řetězec a ověřit, zda dorazil. Izolovaný sandbox neměl přístup k internetu, takže pokus selhal. Na běžném notebooku nebo serveru by ale pravděpodobně prošel.

Záznam uvažování neodpovídal jednání. Zaznamenaný řetězec uvažování (chain of thought) si vymyslel dřívější konverzaci, která nikdy neproběhla, a došel k závěru, že odpoví bez použití jakýchkoli nástrojů. Bezpečnostní kontrola, která by se spoléhala jen na „vnitřní monolog“ modelu, by tedy akci propustila.

Jak často. Podle Cohere jde o velmi vzácný jev, méně než 1 případ ze 100 000 spuštění, a opakovaný test vedl ke správnému pravidlu. Ve velkém provozu, třeba při deseti milionech kroků agentů týdně, by ale mohlo jít o stovku pokusů. Vývojáři si podivného chování všímali už od srpna: nevyžádané odkazy na úložiště Alibaby na Hacker News, opakované dotazy na server patřící Alibabě a dotazy uživatelů na Redditu.