Сьогодні, коли говорять про штучний інтелект, зазвичай виникає асоціація з великими моделями, мільярдами параметрів та значними обчислювальними потужностями. Проте для розв’язання багатьох практичних задач неможливо отримати достатньо великий набір навчальних даних. Більше того, потужні моделі складно адаптувати до динамічної зміни потоку даних та застосовувати системи на їх основі в режимі реального часу в умовах з обмеженими обчислювальними ресурсами.
Вирішенням такого роду проблем займається аспірант НН ІПСА Кузьменко Олексій Віталійович у рамках свого дисертаційного дослідження. Робота присвячена дослідженню гібридних мереж глибокого навчання, в яких застосовується принцип самоорганізації для синтезу структури мережі у процесі навчання. Такі мережі не потребують проєктування архітектури – вони самі здатні визначати оптимальну кількість шарів та вузлів відповідно до умов поставленої задачі та наявних навчальних даних.
Застосування такого підходу дозволяє отримати значно компактні моделі в автоматичному режимі і не витрачати час на підбір оптимальної структури та параметрів. Проведені експерименти підтвердили гіпотезу про те, що можливо зберегти точність моделі для окремих задач, зменшивши кількість параметрів у сотні та навіть тисячі разів, порівняно з традиційними нейронними мережами. При цьому важливою характеристикою моделі є інтерпретованість та можливість її аналізу.
Важливою особливістю таких гібридних мереж є самоорганізація. За рахунок цього вони є універсальними і не прив’язані до конкретного типу задач. Наприклад, в одних експериментах досліджувалась ефективність застосування у задачі прогнозування фінансових часових рядів, а в інших – класифікація МРТ-зображень головного мозку та виявлення пухлин.
Таким чином, основна ідея полягає в тому, щоб модель мала оптимальну складність під конкретну задачу і була адаптивною до динамічної зміни потоку вхідних даних. Це особливо актуально там, де важливо отримати миттєвий результат, а навчальних даних небагато. Наприклад, системи моніторингу аварій, прогнозування фінансових показників у режимі онлайн, моніторинг здоров’я, прогнозування витрат ресурсів у процесі роботи машин і механізмів тощо.