ИИпокалипсис отменяется: ученые взяли под контроль каждый шаг нейросетей

Ученые из США представили новую архитектуру нейросетей «Колмогорова-Арнольда» (KAN) в качестве улучшенной альтернативы старой модели — MLP.

KAN (Kolmogorov-Arnold Networks) создана на основе научных трудов советских ученых Андрея Колмогорова и Владимира Арнольда. Раньше в основе всех нейросетей лежал принцип многослойных перцептрон (MLP). Прецепторн — это простейший вид нейронных сетей, который был придуман в 1957 г. MLP имеют нейроны и веса, содержащие функции активации. KAN представляет собой новую парадигму, в которой ученые реализовали перемещение активаций на «ребра» сети.

Kolmogorov-Arnold Networks выдает ответы намного точнее, чем MLP, и обеспечивает более легкую интерпретацию результатов. Однако процесс обучения новой модели требует значительно больше времени и вычислительных мощностей из-за сложности обучаемых активаций. В том числе новая архитектура нейронной сети не забывает полученную информацию, что помогает поддерживать модель в актуальном состоянии, не полагаясь на какую-либо базу данных или переобучение.

С помощью KAN ученые смогут отследить каждое действие нейросетей, с MLP посмотреть всю цепочку вычислений нельзя.