Учёные из Альберты нашли способ помочь нейросети обучаться бесконечно

Специалисты из Университета Альберты разработали новый подход, который поможет искусственным нейронным сетям обучаться бесконечно.

Проблема катастрофического забывания, когда сети теряют способность выполнять предыдущие задачи, долгое время была актуальной. Это особенно верно для больших языковых моделей, таких как GPT.

Обучение сетей обычно основано на алгоритмах стохастического градиентного спуска и обратного распространения ошибки. Однако текущие методы обучения не могут эффективно работать с большими объёмами данных, включая старые и новые.

Учёные использовали модифицированные наборы данных ImageNet и CIFAR-100, чтобы продемонстрировать возможность непрерывного обучения. Однако при таком подходе методы глубокого обучения теряют свою пластичность.

Чтобы решить эту проблему, исследователи предложили сбрасывать веса менее используемых узлов между сеансами обучения. Это позволит сохранить пластичность сетей и продолжить обучение без утраты ранее приобретённых знаний.

Новый алгоритм, непрерывное обратное распространение ошибки, даёт возможность нейросетям обучаться бесконечно, сохраняя свои способности и знания.

Ранее ITinfo сообщало, что браузер Arc Search появится на Android.