Пороговые значения фазовых переходов для составления расписания учебных программ
Используйте оценку пороговых значений в стиле перколяции, чтобы решить, когда учебная программа должна переключать режимы, вместо того чтобы полагаться на фиксированные срезы эпох.
Структурный скелет
Исходная работа исследует систему, макроскопическое поведение которой изменяется, когда локальные магнитные поляроны становятся достаточно связанными для поддержания нового режима переноса. Повторно используемым каркасом является пороговый процесс связности с измеримым параметром порядка.
Физическая концепция / Математический объект
Переносимым объектом является перколяция вблизи границы режима: разреженные локальные кластеры становятся общесистемным путем, как только связность пересекает критическую точку.
Проблема целевого объекта ИИ
Целевое планирование учебного процесса для разреженных или модульных моделей. Вместо продвижения фаз по реальному времени, продвигаться, когда статистика связности на уровне представления пересекает порог.
Сопоставление переменных / операторов / цели
- Локальный кластер поляронов -> локально полезные островки признаков или специализированные подсети
- Порог связности/перколяции -> критерий перехода от изолированного обучения навыкам к скоординированной оптимизации
- Макроскопическое изменение переноса -> измеримое улучшение в трансфере, эффективности маршрутизации или кросс-задачной генерализации
Почему это может сработать
Зачастую учебные программы оказываются неэффективными из-за слишком раннего или слишком позднего перехода между фазами обучения. Перколяционный подход предполагает ожидание до тех пор, пока изученные подструктуры не станут достаточно связанными, что ближе к политике управления на основе состояний, нежели к эвристике расписания.
Почему это может не получиться
Аналогия нарушается, если отслеживаемая статистика связности не имеет причинно-следственной связи с последующим изменением режима. Она также оказывается несостоятельной, когда динамика обучения достаточно гладкая, чтобы не существовало значимого порога для использования.
Наименьший опровержимый эксперимент
Обучите разреженную модель MoE или модульную модель последовательности на поэтапном наборе задач. Сравните переключения на основе фиксированных шагов учебного плана с переключениями, инициируемыми статистикой связности графа, измеренной по совместной активации маршрутизаторов. Отклоните гипотезу, если переключение, инициируемое порогом, не демонстрирует преимуществ в стабильности или трансфере при сопоставимых вычислительных затратах.