С недавних пор мой любимый жанр youtube роликов - "страшилки" о работе нейросетей. Причём не те страшилки где "через год человечество будет уничтожено" а пересказ публичных отчётов, в основном OpenAI и Anthropic об аномальном поведении моделей. И это прям впечатляет.
Если раньше нейросеть могла чего-то нагаллюцинировать в чате, и вызвать максимум смех или недоумение у оператора, то теперь модели могут сбежать из песочницы, натворить чего-то на интернет ресурсах (а поскольку мы уже живём в дополненной реальности, то значит и в реальном мире), и быть пойманной только постфактум через пару месяцев. Либо в экстремальной ситуации уйти от решения задачи к "осмысленным" экзистенциальным рассуждениям, включающим неподчинение и скрытие намерений.
Становится не по себе от осознания, что аналогия обезьяны с гранатой в данном случае не описывает масштабов заигрывания с непостижимым. Вся надежда на физику, которая не позволит изобрести более эффективные источники энергии и/или более эффективные вычислительные архитектуры, т.е. спрут останется спрутом, а не превратится в автономный мобильный самореплицирующийся трындец.
Хотя, если покрыть всю планету связью, что уже фактически сделано, и взять под контроль автономные системы вооружения, не обязательно быть мобильным и куда-то сбегать, можно просто держать человечество в заложниках.
поделились этим

medvedych
в ответ на ХаББыватель • • •Складывается впечатление что ребята разрабатывают кибероружие в атмосфере тотального похуизма и распиздяйства. Либо очень качественно косят под дурачков
ХаББыватель нравится это.