Ученые в Австралии связали непредсказуемость ИИ с математикой фракталов

Открытый принцип означает, что разработчикам приходится выбирать между быстрым обучением и предсказуемым поведением системы. Повысить оба показателя одновременно мешают фундаментальные ограничения, установленные исследователями.

В расчетах ученые использовали закономерности, описывающие фракталы — структуры, элементы которых повторяют их строение. Выведенные соотношения позволили объяснить, почему поведение нейросетей меняется, и установить жесткую зависимость между предсказуемостью их работы и темпом обучения.

Исследование охватило 500 тысяч несложно устроенных моделей для распознавания текстов и изображений. Математики сравнили, как эти системы обучались и работали. Существенные расхождения возникали даже без каких-либо различий во внешних условиях.

Достаточно было при начальной настройке модели поменять единственный бит одной переменной, чтобы обучение пошло существенно иначе. По силе воздействия такая поправка не уступала внешним факторам. Причина, как установили исследователи, заключается в математических свойствах нейросетей, а не в недостатках техники или составе данных.

Профессор Сиднейского университета Гун Пулинь рассказал, что раньше объяснение искали в случайностях извне. Например, учитывали последовательность, в которой системе предъявляли учебные данные, и особенности вычислительной техники, дающие разброс при расчетах. Теперь выяснилось, что этими обстоятельствами проблема не исчерпывается.

Математики подчеркнули, что непредсказуемый результат первоначального или повторного обучения затрудняет воспроизведение моделей, уже полученных исследователями и разработчиками. Эта же особенность серьезно мешает улучшать действующие нейросети.

Источник: ТАСС