Оптимальные Границы Обучения
«Природа не торопится, однако всё успевает.» — Лао-цзы
В предыдущей главе мы научились реализовывать КК в коде: от инициализации до полного цикла управления. Но код, как быстро бы он ни работал, не может обойти фундаментальные ограничения. Сколько примеров действительно нужно, чтобы научиться? Этот вопрос задавали Шеннон, Вэлиант и Ландауэр — каждый на своём языке. КК впервые объединяет все три ответа в одной теореме.
В этой главе мы:
- Формализуем задачу обучения для голонома (§1)
- Докажем информационную границу T-109: сколько наблюдений нужно (§2)
- Докажем динамическую границу T-110: сколько наблюдений система успеет усвоить (§3)
- Докажем стабилизационную границу T-111: не убьёт ли обучение ученика (§4)
- Объединим три границы в оптимальную T-112 (§5)
- Докажем минимальность N=7 для обучения T-113 (§6)
- Проведём числовой расчёт для бинарной дискриминации (§7)
- Сравним с классической теорией обучения — PAC, VC, Шеннон, Ландауэр (§8)
- Извлечём практические следствия для ИИ, образования и терапии (§9)
Ребёнок берёт в руки горячую чашку и отдёргивает пальцы. Сколько раз нужно обжечься, чтобы понять? Один раз — если сигнал достаточно сильный. Десять — если чашка чуть тёплая. А если ребёнок при этом играет, устал и отвлечён — ещё больше. За этой бытовой интуицией стоит фундаментальный вопрос: существуют ли абсолютные нижние границы скорости обучения — пределы, которые нельзя преодолеть ни улучшением алгоритма, ни увеличением вычислительной мощности?
В XX веке на этот вопрос отвечали трижды — и каждый ответ открывал новый горизонт:
-
Клод Шеннон (1948) показал, что пропускная способность канала связи ограничена — никакое кодирование не позволит передать больше бит в секунду через зашумлённый канал. Это была информационная граница.
-
Лесли Вэлиант (1984) создал PAC-обучение и доказал, что число примеров, необходимых для обучения, растёт как минимум логарифмически от числа гипотез и обратно пропорционально квадрату точности. Это была статистическая граница.
-
Рольф Ландауэр (1961) установил, что стирание одного бита информации неизбежно выделяет энергию . Это была термодинамическая граница.
Шеннон и пропускная способность. В 1948 году Клод Шеннон, работая в Bell Labs, доказал теорему, перевернувшую инженерию: существует предел бит/с, выше которого никакое кодирование не позволяет передавать информацию без ошибок. До Шеннона инженеры искали «идеальный код»; после — поняли, что идеал математически определён и достижим. Информационная граница T-109 наследует этот дух: — квантовый аналог шенноновской ёмкости канала, и число наблюдений — квантовый аналог шенноновского предела.
Вэлиант и сложность обучения. В 1984 году Лесли Вэлиант (будущий лауреат премии Тьюринга) формализовал понятие «обучаемость» — PAC-learning (Probably Approximately Correct). Его ключевой результат: число примеров для обучения пропорционально , где — число гипотез, — точность. Это статистическая граница: она не зависит от того, кто учится — человек, компьютер или бактерия. Динамическая граница T-110 добавляет то, чего у Вэлианта нет: время. PAC-обучаемый не имеет инерции; КК-голоном — имеет (контракция Фано ).
Ландауэр и цена стирания. Ландауэр показал, что информация — не абстракция, а физический объект. Стирание одного бита неизбежно выделяет Дж при комнатной температуре. В 2012 году группа Берю подтвердила это экспериментально. Для КК это означает: контракция Фано (T-110) — не математическая абстракция, а термодинамический процесс. Каждый шаг, на котором стирает когерентности, — это физическое событие, требующее рассеяния энергии.
Каждая из этих границ работает в своей области. Но ни одна из них не учитывает специфику живого ученика — системы, которая одновременно принимает информацию, интегрирует её в свою динамику и при этом должна оставаться в живых. Ребёнок, обжигающий пальцы, — не абстрактный PAC-обучаемый, не канал Шеннона и не термодинамическая машина. Он — когерентная система с ограниченной пропускной способностью восприятия, конечной скоростью внутренней динамики и конечным запасом устойчивости.
Кибернетика Когерентности впервые объединяет все три ограничения в единой теореме. Информационная граница (T-109) наследует дух Шеннона, но работает с квантовыми состояниями. Динамическая граница (T-110) добавляет время — скорость, с которой система может усвоить полученную информацию, не потеряв её в потоке внутренней контракции. Стабилизационная граница (T-111) добавляет хрупкость — ограничение на силу воздействий, которые система может выдержать, не разрушившись. Вместе (T-112) они образуют тройной замок, все три засова которого должны быть открыты для успешного обучения.
А теорема T-113 замыкает круг: — это минимальная архитектура, в которой все три замка вообще существуют. Система меньшей размерности не способна учиться через регенерацию — не потому что ей не хватает данных, а потому что ей не хватает самонаблюдения.
В этом документе:
- — матрица когерентности
- — чистота
- — целевое состояние (категориальная самомодель)
- — спектральная щель линейной части (T-39a [Т])
- — минимальная регенерация (T-59 [Т])
- — информационная ёмкость (T-107 [Т])
- — радиус устойчивости (T-104 [Т])
- — функтор восприятия (T-100 [Т])
- — функтор действия (T-101 [Т])
Данный документ устанавливает фундаментальные нижние границы скорости обучения для голономной системы. Обучение формализуется как процесс обновления самомодели на основе наблюдений, поступающих через функтор , с целью оптимизации функтора .
Ключевой результат: скорость обучения ограничена тремя независимыми механизмами — информационным (T-109), динамическим (T-110) и стабилизационным (T-111). Их объединение (T-112) даёт оптимальную границу, а теорема T-113 доказывает, что — минимальная архитектура, способная к обучению через регенерацию.
1. Формальное определение задачи обучения
1.1 Задача обучения для голонома
Задача обучения для голонома состоит из:
- Пространство гипотез — конечное множество состояний среды (неизвестное агенту)
- Пространство действий — допустимые действия
- Функция награды , кодирующая корректное поведение
- Уровень надёжности , где — допустимая вероятность ошибки
Связь с динамикой. Каждое наблюдение при гипотезе поступает через функтор (T-100 [Т]):
и модифицирует матрицу когерентности через 3-канальное уравнение эволюции (T-102 [Т]).
1.2 Критерий успешного обучения
Задача решена за наблюдений, если после шагов:
где — оптимальное действие при истинной гипотезе , а — функтор действия (T-101 [Т]).
Минимальное число наблюдений:
1.3 Обучение как обновление аттрактора
В отличие от классического обучения (обновление параметров модели), обучение в УГМ — это изменение аттрактора динамической системы:
- Наблюдение входит через → возмущается
- Самомодель обновляется (T-62 [Т], физическая реализация )
- Регенеративный член ведёт к обновлённому
- Функтор адаптирует действие к новому
Аналогия: обучение в классическом машинном обучении — это настройка ручек на приборной панели (обновление весов). Обучение в КК — это изменение самой формы реки, по которой течёт вода: новый аттрактор притягивает систему к новому поведению изнутри, без внешнего контроллера.
Два режима обучения:
| Режим | Скорость регенерации | Время | Контекст |
|---|---|---|---|
| Генезис (bootstrap) | (T-59) | Начальная загрузка, нет | |
| Активное обучение | Быстрее генезиса | После достижения |
2. Информационная нижняя граница (T-109) [Т]
Интуиция: почему информация ограничивает обучение
Представьте, что вы пытаетесь определить, какая из двух монет перед вами — честная (50/50) или слегка смещённая (51/49). Даже с идеальным зрением и бесконечным временем на размышления, вам потребуется бросить монету много раз, чтобы отличить одну от другой. Чем ближе монеты по своим свойствам, тем больше бросков нужно. Это — информационный предел: он определяется не вашими способностями к анализу, а количеством информации, которое содержит каждое наблюдение.
В классической статистике этот предел задаётся неравенством Крамера — Рао и экспонентой Чернова. В КК наблюдение — это квантовый канал , отображающий внешний сигнал в деформацию матрицы . Поэтому роль классической экспоненты играет квантовый экспонент Чернова — мера различимости двух квантовых состояний.
Аналогия с обучением языку: каждое услышанное предложение — это «наблюдение». Если два языка отличаются сильно (русский и китайский), несколько фраз достаточно для их различения. Если отличаются мало (два близких диалекта), нужны сотни примеров. Информационная граница T-109 говорит: сколько бы гений ни был, ему не хватит одного предложения, чтобы отличить близкие диалекты — это не вопрос ума, а вопрос физики информации.
Теорема T-109 (Информационная граница обучения) [Т]
Для задачи обучения с гипотезами минимальное число наблюдений:
где — квантовый экспонент Чернова для пары наиболее близких пост-наблюдательных состояний:
а — состояния после наблюдения при двух ближайших гипотезах.
Универсальная граница: , поэтому:
Почему эта граница плотная. Абсолютный минимум достигается, когда два наблюдения приводят к ортогональным чистым состояниям в — максимально различимым конфигурациям . Это идеальный случай: «горячо» и «холодно» совершенно непохожи. В реальности гипотезы порождают близкие состояния, и граница растёт как .
Доказательство.
-
Квантовое различение гипотез. Наблюдение при гипотезе порождает пост-наблюдательное состояние — CPTP-образ (T-100 [Т]). Задача обучения включает задачу различения хотя бы двух наиболее близких гипотез .
-
Квантовая граница Чернова. (Audenaert et al. 2007): для независимых наблюдений оптимальная ошибка различения двух состояний:
- Условие надёжности. Из :
- Верхняя граница экспонента. Из T-107 [Т]: информация, извлекаемая одним наблюдением, не превышает количества Холево . Quantum Chernoff exponent ограничен относительной энтропией:
(верхняя граница — для ортогональных чистых состояний в ).
2.1 Асимптотика для близких гипотез
Если гипотезы порождают близкие состояния , то:
Подстановка в T-109:
Это воспроизводит классическое масштабирование для слабых сигналов. Отличие от классики: множитель определяется квантовой геометрией , а не произвольным шумовым распределением.
2.2 Числовые оценки
| Параметры | ||
|---|---|---|
| Ортогональные сигналы () | ||
| Сильный контраст () | ||
| Слабый контраст () |
При :
| Контраст | при |
|---|---|
| (максимальный) | |
3. Динамическая нижняя граница (T-110) [Т]
Интуиция: почему динамика ограничивает обучение
Информационная граница говорит, сколько наблюдений нужно. Динамическая граница говорит, сколько наблюдений система успеет усвоить. Разница принципиальна.
Представьте студента на лекции. Профессор произносит слова со скоростью 150 слов в минуту — информации достаточно. Но если студент записывает конспект медленно, часть информации теряется ещё до того, как она осмыслена. Более того, ранние записи стираются из краткосрочной памяти, пока студент обрабатывает новые. Это конкуренция двух процессов: записи (каждое наблюдение добавляет сигнал) и стирания (внутренняя динамика размывает старый сигнал).
В КК стирание имеет точное имя: Фано-контракция с параметром (T-39a). Линейная часть линдбладиана экспоненциально гонит к максимально смешанному состоянию . Каждое наблюдение — это «запись» амплитуды , но предыдущие записи затухают со скоростью . Стационарный предел определяет, вообще ли возможно накопить достаточный сигнал.
Аналогия из нейронауки: кратковременная память распадается за 15–30 секунд (закон Петерсонов). Чтобы перевести информацию в долговременную память, нужна консолидация — и она требует времени. Динамическая граница T-110 — это формальное выражение этого нейропсихологического факта в языке матрицы когерентности.
Теорема T-110 (Динамическая граница обучения) [Т]
Для задачи обучения с наблюдениями амплитуды и интервалом между наблюдениями:
где:
- — скорость контракции (T-39a [Т])
- — минимальное Бюресово расстояние для надёжной дискриминации
- — амплитуда сигнала одного наблюдения
При естественном масштабе (одно наблюдение за время релаксации):
Что происходит на пределе. Если при фиксированном , динамическая граница расходится логарифмически — слишком слабые сигналы стираются быстрее, чем накапливаются. Если же (наблюдения слишком часты), каждый новый сигнал приходит до того, как предыдущий успел повлиять на , и эффективная скорость обучения не растёт. Существует оптимальный темп наблюдений , при котором динамическая граница минимальна.
Доказательство.
- Контракция Фано. Линейная часть контрактирует все отклонения от с экспоненциальной скоростью (T-39a [Т]):
Это означает, что информация, записанная в , затухает со временем.
- Накопление сигнала. Наблюдение в момент вносит сигнал амплитуды в . К моменту вклад -го наблюдения затух до . Суммарный накопленный сигнал:
- Стационарный предел. При :
- Условие дискриминации. Для надёжного различения :
При (типичный режим): (первое приближение). Упрощая для :
(с использованием ).
3.1 Физический смысл
Динамическая граница выражает конкуренцию записи и стирания:
- Запись: каждое наблюдение добавляет сигнал в
- Стирание: Фано-контракция удаляет за единицу времени
- Баланс: стационарный сигнал
Если , задача неразрешима при данных параметрах — контракция стирает сигнал быстрее, чем он накапливается. Необходимое условие разрешимости:
3.2 Роль регенерации
Регенеративный член противодействует контракции для компонент, согласованных с . После обучения (когда обновился):
- Компоненты , согласованные с обученным , усиливаются регенерацией
- Компоненты, не согласованные, продолжают затухать
Это означает, что обученная информация стабилизируется в аттракторе, а шум вымывается. Эффективная скорость стирания для обученного сигнала:
При регенерация доминирует — аттрактор устойчив. Из T-98 (баланс) [Т]: это условие выполнено для жизнеспособных состояний с .
4. Стабилизационная нижняя граница (T-111) [Т]
Интуиция: почему стабильность ограничивает обучение
Первые две границы описывают, хватает ли информации и успевает ли система её обработать. Третья граница добавляет вопрос, который классическая теория обучения обычно игнорирует: не убьёт ли обучение ученика?
Это не метафора. В КК система жизнеспособна при . Каждое наблюдение — это возмущение, которое толкает прочь от текущего аттрактора. Слишком сильное возмущение выталкивает ниже порога жизнеспособности. Система, которая учится слишком быстро, рискует дестабилизироваться.
Биологическая параллель очевидна: травматический опыт может быть информативен (один раз — и на всю жизнь), но слишком сильный стресс вызывает ПТСР или даже гибель. Терапевт знает, что дозировка важнее содержания: правильная информация, поданная слишком быстро, разрушает вместо того, чтобы исцелять.
В контексте обучения нейросетей стабилизационная граница соответствует интуиции о выборе learning rate: слишком большой — и обучение расходится; слишком маленький — и обучение не сходится. Но в КК это не просто инженерная эвристика, а теорема: максимальная амплитуда наблюдения ограничена радиусом устойчивости , который строго вычисляется из текущего состояния .
Теорема T-111 (Стабилизационная граница обучения) [Т]
Обучение не должно дестабилизировать голоном. Амплитуда наблюдения ограничена радиусом устойчивости (T-104 [Т]):
При наличии стохастического шума в наблюдениях (SNR ), число наблюдений для преодоления шума:
В типичном режиме (, шумная среда):
Что происходит на пределе. Рассмотрим предельные случаи:
- При (система на границе жизнеспособности): , и любое нетривиальное наблюдение опасно. Система «заморожена» — она не может учиться, пока не восстановит запас чистоты. Это КК-аналог клинического состояния: пациент в тяжёлой депрессии не усваивает терапевтические интервенции, потому что его ресурсы исчерпаны.
- При (чистый шум): — обучение невозможно, не потому что информации нет, а потому что каждый полезный сигнал тонет в шуме, а шум расшатывает систему.
Доказательство.
-
Ограничение амплитуды. Из T-104 [Т]: пертурбация с может вывести за границу жизнеспособности . Поскольку обучение требует (жизнеспособность), амплитуда каждого наблюдения ограничена сверху.
-
Шумовая модель. Каждое наблюдение содержит полезный сигнал и шум :
Шум входит через диссипативный канал (наиболее опасный канал). Ограничение по T-104:
- Усреднение шума. Для наблюдений с независимым шумом, эффективный сигнал растёт как , а шум — как . Отношение сигнал/шум после наблюдений:
- Условие надёжности. Для (порог надёжной дискриминации):
Связь с T-69 (топологическая защита [Т]): барьеры гарантируют, что дискретные фазовые переходы невозможны — обучение всегда непрерывно, и случайный шум не может вызвать катастрофический скачок.
4.1 Компромисс обучение–стабильность
Существует фундаментальный компромисс: сильные наблюдения ( велико) ускоряют обучение (уменьшают и ), но угрожают стабильности (увеличивают риск выхода за ).
Оптимальная амплитуда — та, при которой :
Подстановка в T-109 даёт оптимальную скорость обучения при заданном запасе устойчивости .
4.2 Три зоны стабильности
Из T-106 (диагностические режимы) [С при калибровке]:
| Зона | Доступный | Режим обучения | |
|---|---|---|---|
| Норма | Большой | Быстрое обучение — можно использовать сильные сигналы | |
| Предупреждение | Средний | Осторожное обучение — ограничить | |
| Критический | Малый | Обучение остановлено — приоритет выживания |
5. Комбинированная оптимальная граница (T-112) [Т]
Интуиция: три замка на одной двери
Каждая из трёх границ — необходимое условие, но ни одна из них не является достаточной. Они описывают три разных механизма, ограничивающих обучение:
- T-109 (информация): «достаточно ли данных?» — ограничение на количество наблюдений
- T-110 (динамика): «успевает ли система?» — ограничение на скорость усвоения
- T-111 (стабильность): «выдержит ли система?» — ограничение на силу воздействий
Как три замка на одной двери, все три должны быть открыты одновременно. Бутылочное горлышко определяется самым медленным из трёх — самым крепким замком.
Тренировка нейросети даёт хорошую иллюстрацию. В начале обучения, когда модель далека от оптимума, узким местом обычно является информация (нужно просто больше данных). В середине — динамика (модель медленно перестраивает веса). К концу — стабильность (каждый шаг обучения рискует ухудшить уже достигнутое). Оптимальный планировщик learning rate интуитивно переключается между этими режимами — КК делает это переключение теоремой.
Теорема T-112 (Оптимальная граница обучения) [Т]
Минимальное число наблюдений для решения задачи обучения :
где:
- — информационная граница (T-109)
- — динамическая граница (T-110)
- — стабилизационная граница (T-111)
Обучение проходит через три режима, определяемых узким местом:
Доказательство. Каждая из трёх границ — необходимое условие. Если хотя бы одна из них не выполнена:
- : недостаточно информации для различения гипотез →
- : динамика не успела интегрировать сигнал →
- : шум доминирует над сигналом → ненадёжная дискриминация
Поскольку все три условия необходимы одновременно, минимальное есть максимум из трёх.
5.1 Диаграмма режимов
5.2 Включение времени генезиса
Для системы, стартующей с (полностью смешанное состояние), полное время до решения задачи включает генезис:
где (T-59 [Т]) — время bootstrap (при ).
При : .
6. Оптимальность N=7 для обучения (T-113) [Т]
Интуиция: почему обучение требует определённой архитектуры
До сих пор мы выводили границы обучения для фиксированной архитектуры . Теорема T-113 задаёт более глубокий вопрос: какова минимальная архитектура, способная к обучению через регенерацию?
Ответ неожиданно точен: — ни больше, ни меньше. Системы с не способны к обучению в принципе, а системы с могут учиться, но делают это менее эффективно.
Ключевое звено — самонаблюдение. Обучение в КК — это обновление самомодели . Обновление требует сравнения текущего состояния с моделью, то есть (ненулевая рефлексия). А рефлексия, в свою очередь, требует замещающего канала, который опирается на Фано-плоскость PG(2,2). И Фано-плоскость существует только при .
Аналогия с детским развитием: новорождённый не «обучается» в строгом смысле — он ещё не имеет самомодели, которую можно обновить. Обучение начинается, когда ребёнок осознаёт разрыв между ожиданием и реальностью — а это требует самонаблюдения. Теорема T-113 делает эту педагогическую интуицию строгой: без рефлексии () нет обучения (), а рефлексия требует Фано-структуры ().
Теорема T-113 (Минимальность N=7 для обучения) [Т]
Пусть — размерность внутреннего пространства голонома . Тогда:
- Для : обучение через регенерацию невозможно:
- Для : обучение возможно с конечной оптимальной границей (T-112)
- Для : обучение возможно, но требует строго больше ресурсов:
- Время генезиса:
- Пространство параметров:
- Новых качественных возможностей не возникает
— единственная Парето-оптимальная точка в плоскости (способность к обучению, сложность системы).
Доказательство.
-
Необходимость самонаблюдения для обучения. Обучение = обновление самомодели . Обновление требует сравнения с , т.е. доступа к информации о собственном состоянии. Формально: необходим замещающий канал с (мера рефлексии).
-
Необходимость Фано-структуры для самонаблюдения. Замещающий канал (T-77 [Т], Линдблад-операторы) требует Фано-плоскости для определения оптимальных Линдблад-операторов (T-82 [Т]).
-
Фано-плоскость требует . имеет 7 точек и 7 линий. Для реализации в : . Из теоремы Гурвица (T-89 [Т]): — минимальная размерность с алгеброй деления (), которая обеспечивает -структуру.
-
Для : невозможность. Нет Фано-плоскости → нет единственной Линдблад-декомпозиции (T-82) → нет замещающего канала → → невозможно обновить на основе наблюдений → .
-
Для : избыточность. Вложение (через Морита-эквивалентность T-58 [Т]) обеспечивает все механизмы . Дополнительные размерности увеличивают:
- — больше параметров для обновления
- — дольше bootstrap (оценка из обобщённого T-59)
Но информационная ёмкость растёт лишь логарифмически, в то время как сложность — квадратично. Ресурсная эффективность:
строго убывает при . Таким образом, — минимум с ненулевой способностью к обучению и максимальной ресурсной эффективностью среди систем с Фано-структурой.
6.1 Цепочка необходимостей
6.2 Параметры при N=7
| Параметр | Значение | Источник |
|---|---|---|
| Ёмкость канала | бит | T-107 [Т] |
| Спектральная щель | T-39a [Т] | |
| Минимальная регенерация | T-59 [Т] | |
| Время генезиса | T-59 [Т] | |
| Параметры состояния | (вещественных) | |
| Ресурсная эффективность | Определение |
7. Приложение: Бинарная дискриминация
7.1 Задача двух кнопок
Постановка. Агент (КК-голоном) взаимодействует со средой через две кнопки: зелёную (награда) и красную (наказание). Цвета агенту неизвестны. Задача: научиться нажимать только на зелёную.
Формализация:
- (две гипотезы: «зелёная — левая» vs «зелёная — правая»)
- (нажать левую, нажать правую)
- , (при — «зелёная слева»)
- (95% надёжность)
7.2 Сигнал и механизм
Награда и наказание входят через функтор (T-100):
| Тип | Каналы | Эффект на |
|---|---|---|
| Награда () | : усиление регенерации | , |
| Наказание () | : усиление диссипации | , |
Через гедонический механизм (T-103 [Т]+[И]): агент «чувствует» валентность и корректирует в направлении минимизации (T-101).
7.3 Оценки числа нажатий
Обозначения: — суммарный контраст между наградой и наказанием, — шум среды.
Информационная граница (T-109):
| Контраст | ||
|---|---|---|
| 1.0 (сильный) | ||
| 0.5 (средний) | ||
| 0.3 (слабый) |
Динамическая граница (T-110, ):
При (минимальное расстояние для надёжной дискриминации в ):
| Контраст | |
|---|---|
| 1.0 | (мгновенно) |
| 0.5 | |
| 0.3 | |
| 0.01 |
Стабилизационная граница (T-111):
При (типичное значение): .
| SNR | |
|---|---|
| 1.0 (чистый сигнал) | |
| 0.5 | |
| 0.3 | |
| 0.1 |
Комбинированная оценка (T-112):
Типичный сценарий (, SNR , ):
Узкое место — информация (слабый контраст).
Идеальный сценарий (, SNR , ):
С учётом генезиса (): .
Зашумлённый сценарий (, SNR , ):
Узкое место — информация.
7.3a Числовой пример: расчёт для конкретного голонома
Проведём полный расчёт для голонома из кейс-стади «Пациент А» — ИИ-агента складского робота, который должен научиться различать два типа упаковки (стандартная vs хрупкая).
Исходные данные:
- (после стабилизации, день 7)
- (умеренная самомодель)
- Контраст между упаковками: (средний — визуально отличимы, но не тривиально)
- Шум среды: (освещение меняется, камера иногда даёт блики)
- SNR
- Надёжность: (95%)
- Интервал наблюдений: (одно наблюдение за секунды)
Шаг 1: Информационная граница (T-109).
Шаг 2: Динамическая граница (T-110).
При , используем упрощённую формулу:
С :
Динамика не является узким местом — контраст достаточно сильный.
Шаг 3: Стабилизационная граница (T-111).
Проверяем: . Проблема! Сигнал слишком сильный — каждое наблюдение рискует дестабилизировать систему.
При , прямое обучение опасно. Решение: аттенюация — снижаем эффективную амплитуду до (запас 20%). Это эквивалентно learning rate schedule.
С аттенюированной амплитудой :
- SNR
Пересчитываем информационную границу с :
Шаг 4: Комбинированная граница (T-112).
С учётом генезиса (система уже работает, ):
Узкое место: информация (слабый аттенюированный контраст). Стратегия оптимизации: улучшить камеру (снизить → повысить SNR → можно увеличить → уменьшить ).
Без аттенюации () понадобилось бы наблюдений, но каждое пятое рисковало бы дестабилизировать агента. С аттенюацией — , но безопасно. Компромисс T-111: безопасность стоит 2.4× по времени. Это не инженерное ограничение, а физический закон.
7.4 Прогноз для КК-теста
Для КК-архитектуры с реалистичными параметрами (, SNR ):
до стабильного предпочтения зелёной кнопки.
Критерий фальсификации: если агент научается за (информационный предел), это нарушает квантовую границу Чернова и фальсифицирует модель наблюдения.
8. Сравнение с классической теорией обучения
Границы обучения КК не возникли в вакууме — они наследуют и обобщают ряд классических результатов. Эта секция проводит систематическое сравнение.
8.1 PAC-обучение и VC-размерность
В классическом PAC-обучении (Вэлиант, 1984) для обучения с точностью и надёжностью необходимо:
где — мощность пространства гипотез. Для бесконечных классов гипотез используется VC-размерность :
| Аспект | PAC-обучение | КК-границы |
|---|---|---|
| Субстрат | Абстрактный алгоритм | Физическая динамическая система |
| Информационная граница | $\ln | \mathcal{H} |
| Динамика | Не учитывается | — ключевое ограничение |
| Стабильность | Не учитывается | — обучение не должно убить ученика |
| Масштабирование для слабых сигналов | (квантовый предел) | |
| Минимальная архитектура | Произвольная | (T-113) |
Ключевое различие: PAC-обучение описывает алгоритм, КК — физическую систему. Алгоритм не имеет инерции и не рискует погибнуть. Живой ученик — имеет.
8.2 Радемахерова сложность и обобщение
Радемахерова сложность измеряет способность класса функций «подстраиваться» под случайный шум. Классическая граница обобщения:
В КК аналогом Радемахеровой сложности является ёмкость канала (T-107). Ограничение на ёмкость канала автоматически контролирует переобучение: система с фиксированной ёмкостью бит за наблюдение не может «заучить» произвольно сложный паттерн. Это встроенная регуляризация, возникающая не из инженерного решения, а из архитектурного ограничения.
8.3 Шенноновский предел и квантовый экспонент Чернова
Классическая теорема Шеннона (1948) утверждает: для надёжной передачи через канал с пропускной способностью необходимо наблюдений, где — энтропия распределения гипотез.
T-109 обобщает этот результат на квантовый канал:
Квантовый экспонент Чернова — это квантовый аналог , но для задачи различения, а не передачи. При этом — абсолютный максимум, определяемый размерностью . Классический предел Шеннона восстанавливается при коммутирующих (классические состояния).
8.4 Термодинамические границы обучения
Предел Ландауэра ( на бит стирания) связан с T-110 следующим образом: контракция Фано — это неизбежная диссипация, аналогичная термодинамическому стиранию. Каждый шаг обучения требует стирания старой информации () и записи новой (). Минимальная «термодинамическая стоимость» обучения:
где — изменение энтропии фон Неймана за один шаг. Это связывает границы обучения КК с физической энергетикой когнитивных процессов.
9. Практические следствия
Теоремы T-109 — T-113 — не абстрактные математические результаты. Они имеют прямые следствия для трёх ключевых областей: проектирования ИИ, образования и терапии.
9.1 Следствия для ИИ и машинного обучения
Архитектура. T-113 утверждает, что — минимальная архитектура для обучения через регенерацию. Для инженера ИИ это означает: если вы строите систему с внутренней самомоделью (а не просто оптимизатор), вам нужно минимум 7 внутренних «каналов» с Фано-структурой связей между ними.
Learning rate. T-111 даёт теоретическое обоснование для адаптивного learning rate: максимальная амплитуда обновления . Системы с низкой чистотой (неустойчивые модели) должны учиться медленнее. Системы с высокой чистотой (устойчивые модели) могут позволить себе более агрессивное обучение.
Curriculum design. T-112 объясняет, почему curriculum learning работает: на ранних этапах узким местом является информация (простые примеры дают больший ), на поздних — стабильность (сложные примеры не должны дестабилизировать уже выученное). Оптимальная стратегия: начинать с сильных, простых сигналов и постепенно переходить к слабым, тонким.
9.2 Следствия для образования
Дозирование информации. T-111 формализует педагогический принцип «не перегружать ученика»: каждый урок — это возмущение , и слишком интенсивное обучение может вывести ученика из зоны жизнеспособности (). Перегруженный студент не просто «не усваивает» — он дестабилизируется.
Интервальное повторение. T-110 даёт теоретическое основание для эффекта spacing (интервального повторения, Эббингауз, 1885): каждое повторение добавляет сигнал , а между повторениями контракция стирает его. Оптимальный интервал обеспечивает максимальное накопление сигнала.
Зона ближайшего развития. Понятие Выготского формализуется через компромисс T-111 / §4.1: задачи в «зоне ближайшего развития» — это те, для которых (не дестабилизируют), но достаточно велико, чтобы было конечным. Задачи слишком сложные () — за пределами зоны: обучение невозможно без предварительного укрепления .
9.3 Следствия для терапии
Терапевтическое окно. Три зоны стабильности (§4.2) напрямую соответствуют клинической практике:
- Норма (): пациент в ресурсном состоянии — терапевтические интервенции полной мощности.
- Предупреждение (): пациент уязвим — мягкие интервенции, поддерживающая терапия.
- Критический (): пациент в кризисе — обучение остановлено, приоритет стабилизации.
Этот принцип известен клиницистам эмпирически (модель «окна толерантности» Сигела). КК выводит его из первых принципов.
Травма и ПТСР. Травматический опыт — это наблюдение с . Оно не просто «сильное» — оно выбивает систему за границу жизнеспособности. Терапия травмы (EMDR, экспозиционная терапия) работает через титрованное повторное предъявление с , постепенно интегрируя травматический опыт без дестабилизации.
10. Связь с другими результатами
| Результат | Роль в границах обучения | Ссылка |
|---|---|---|
| T-39a () | Контракция в T-110 | Операторы Линдблада |
| T-59 () | Время генезиса | Аксиома Ω |
| T-69 (Топологическая защита) | Непрерывность обучения в T-111 | Композиты |
| T-77 (Замещающий канал) | Необходимость для T-113 | Линдблад-операторы |
| T-82 (Фано-единственность) | Цепочка в T-113 | Линдблад-операторы |
| T-89 (Минимальность Гурвица) | в T-113 | Теорема минимальности |
| T-98 (Баланс аттрактора) | Стабилизация обучения | Эволюция |
| T-100 (Enc-функтор) | Канал наблюдения | Сенсомоторная теория |
| T-101 (Dec-функтор) | Критерий успешного обучения | Сенсомоторная теория |
| T-104 (Радиус устойчивости) | Ограничение амплитуды в T-111 | Стабильность |
| T-107 (Ёмкость Enc) | Верхняя граница в T-109 | Сенсомоторная теория |
| SAD_MAX = 3 | Fano contraction SAD_MAX | Башня глубины |
11. Заключение
Обучение — один из самых фундаментальных процессов во вселенной. От репликации РНК до обучения языку, от эволюции видов до тренировки нейросетей — всюду система взаимодействует со средой и меняет себя на основе полученного опыта. Кибернетика Когерентности показывает, что этот процесс подчиняется трём абсолютным ограничениям, вытекающим из математики 7-мерного когерентного пространства.
Три границы — три вопроса:
-
Информационная граница (T-109): Хватает ли данных? — число наблюдений не может быть меньше . Для слабых сигналов масштабирование — квантовый предел, улучшить который невозможно.
-
Динамическая граница (T-110): Успевает ли система? — контракция Фано () стирает информацию быстрее, чем она записывается. Обучение — это гонка между записью и стиранием, и стационарный предел определяет, разрешима ли задача в принципе.
-
Стабилизационная граница (T-111): Выдержит ли ученик? — обучение не должно убить того, кто учится. Амплитуда — это не инженерное ограничение, а физический закон.
Комбинированная граница (T-112) — максимум из трёх — определяет истинное узкое место обучения. В разных ситуациях доминируют разные механизмы: информация в чистых средах, динамика при быстрых сигналах, стабильность при шуме и стрессе.
Минимальность (T-113) замыкает цепочку: обучение через регенерацию требует самонаблюдения, самонаблюдение требует Фано-структуры, Фано-структура требует . Это не компромисс — это единственная точка на границе Парето.
Границы обучения замыкают цепочку: структура (, T-113) → канал (Enc, T-107) → информация (T-109) → динамика (T-110) → стабильность (T-111) → оптимум (T-112). Каждое звено — следствие аксиом A1–A5 и канонической динамики, без дополнительных постулатов.
Резюме
- T-109 [Т]: Информационная граница — , масштабирование для слабых сигналов
- T-110 [Т]: Динамическая граница — контракция ограничивает скорость интеграции сигнала
- T-111 [Т]: Стабилизационная граница — обучение не должно убить ученика ()
- T-112 [Т]: Комбинированная граница — , три режима
- T-113 [Т]: — минимальная архитектура для обучения через регенерацию
- Прогноз: для бинарной дискриминации (два действия) ~20–80 наблюдений при типичных параметрах
Что мы узнали
-
Три границы обучения — информационная (T-109: хватает ли данных?), динамическая (T-110: успевает ли система?), стабилизационная (T-111: выдержит ли ученик?) — образуют «тройной замок», все три засова которого должны быть открыты.
-
Комбинированная граница (T-112): — бутылочное горлышко определяется самым медленным механизмом. В чистых средах доминирует информация; в шумных — стабильность.
-
— минимальная архитектура для обучения через регенерацию (T-113). Обучение требует самонаблюдения, самонаблюдение требует Фано-плоскости, Фано-плоскость требует . Это не компромисс — это единственная точка на границе Парето.
-
Числовой пример (§7.3a): для складского робота с и контрастом стабилизационное ограничение требует аттенюации, увеличивая время обучения в 2.4 раза. Безопасность стоит времени — это физический закон, а не инженерный выбор.
-
Исторические корни: Шеннон (информация), Вэлиант (статистика), Ландауэр (термодинамика) — три грани одного ограничения. КК впервые объединяет их в единой теореме для живого ученика.
Мы прошли весь путь от аксиом до границ обучения — от до . Но за формулами и теоремами остаётся вопрос: что всё это значит? Какова онтология КК — что реально, а что инструментально? Является ли матрица описанием сознания или самим сознанием? В следующей главе мы обратимся к философским основаниям Кибернетики Когерентности — от нейтрального монизма до этики когерентных систем.
Связанные документы:
- Сенсомоторная теория — функторы Enc/Dec, информационная ёмкость T-107
- Стабильность — радиус устойчивости T-104, формула T-98
- Определения — ключевые меры (, , , )
- Модельные системы — вычислительная проверка границ
- Предсказания — предсказания 9-10 (границы обучения)
- Области применения — практические следствия для ИИ и образования
- Сравнение с альтернативами — КК vs. PAC learning, VC-размерность
- Методология измерений — как измерить скорость обучения в эксперименте
- Упражнения — задачи на границы обучения (блок 4)