Применение аппарата тропической математики в архитектуре нейронных сетей

Аннотация

Используя методы тропической математики, можно упростить структуру нейронной сети. Целью настоящей работы является исследование эффективности использова- ния тропических функций в нейронных сетях. Базовая алгебраическая структура в тропической математике — полукольцо с выбором минимума (или максимума) в качестве сложения. Такая структура естественно возникает в работе с некоторы- ми нейронными сетями, например сетями с функцией активации ReLU. В рамках этого подхода произвольная кусочно-линейная функция с фиксированным типом выпуклости может быть представлена тропическим многочленом, а произвольная кусочно-линейная функция — тропической рациональной функцией. Таким обра- зом, слой нейронной сети с линейной преактивацией и ReLU-активацией можно рассматривать как векторнозначную тропическую рациональную функцию, которая, в свою очередь, может быть представлена двумя тропическими слоями. В работе были реализованы два тропических слоя и построены пять тропических архитектур. Обучение моделей проводилось на датасете, целью которого было оценить вероят- ность наличия сердечно-сосудистых заболеваний у пациентов по определенному набору характеристик. Все модели имели одинаковые гиперпараметры. Каждая из моделей обучалась в течение 100 эпох с использованием оптимизаторов Adam и SGD. Сравнение результатов показало, что наилучшей точности достигла модель со сме- шанной архитектурой, состоящая из двух линейных слоев с min-слоем и max-слоем между ними. Такая точность была достигнута при использовании оптимизатора Adam. Классическая модель набрала 77, 3%, а тропическая 77, 7%.