Истоки правил обучения для сетей кроются в идее, сформулированной впервые в общих чертах Хеббом. Коротко говоря, он применил старый закон смежности к уровню нейронной активности и утверждал, что синаптическая передача будет получать выигрыш в эффективности всякий раз, когда пресинаптическая активность оказывается смежной по времени с постсинаптической активностью. На рис. 2 приведен пример хеббовского элемента. Этот хеббовский элемент имеет две входные связи. Один вход (Xi), наз. здесь «сигнальным» входом («cue» input), не обладает изначально весом связи и, следовательно, не способен активизировать элемент. Др. вход (Х0), обычно наз. «обучающим» входом («teacher» input), имеет фиксированный большой вес (V0 = 1), позволяющий активизировать элемент и вызвать «ответный» выход («response» output). При совмещении во времени обоих входов, сигнальный вход будет обеспечивать пресинаптическую активность (Xi), а обучающий вход будет вызывать постсинаптическую активность (Y). В мат. терминах, изменение веса связи (ΔVi) выражается в виде произведения двух уровней активности. Это правило обучения может быть записано как ΔVi = сХiY, где с — коэффициент пропорциональности (0 < с < 1).
Рис. 2. Хеббовский адаптивный элемент, в котором Xi — уровень сигнального входа, Vi — адаптивный вес связи, Х0 — уровень обучающего входа, a Y — уровень выходной реакции. Если по хеббовскому правилу научение находится в строгой зависимости от смежности уровней активации, согласно др. правилам научение зависит от ошибки в способности веса сигнального входа соответствовать обучающему входу. Одно из наиболее часто используемых правил этого рода известно под разными наименованиями: правило допустимой ошибки (дельта), правило Ресколы — Вагнера (the Rescorla — Wagner rule), правило Видроу — Хоффа (the Widrow — Hoff rule) и правило наименьших средних квадратов (least-mean squares rule). При наличии множества одновременных сигнальных входов это правило может быть записано как ΔVi = с (V0X0 — Σ [Vi Xi]) Xi. Анализ этого правила показывает, что когда суммарный вход (Σ [Vi Xi]) существенно отличается от активации, вызываемой обучающим входом (V0 X0), это приводит к резкому изменению веса связи каждого подходящего входа (ΔVi). И наоборот, когда это различие мало, изменение также будет малым. Правило исправления ошибок (error-correction rule) оказывается более сложным, чем хеббовское правило смежности, однако имеет 3 осн. преимущества при моделировании ассоциативного обучения. 1. Самоограничивающиеся приращения. Тогда как правило смежности порождает веса связи, к-рые растут линейно, правило исправления ошибок является самоограничивающимся. Эта его особенность производит отрицательное ускорение, к-рое можно наблюдать в большинстве кривых научения. 2. Обратимость. Правило смежности продуцирует только положительные приращения в научении, тогда как правило исправления ошибок порождает не только положительные, но и отрицательные приращения (или затухание). В частности, в правиле смежности, отсутствие обучающего входа (Х0) исключает любые приращения, но при этом не влечет эффекта затухания. В свою очередь, в правиле исправления ошибок, отсутствие обучающего входа означает, что вычитаемый член уравнения принимает отрицательные значения (-Σ [Vi Xi]), тем самым производя понижение веса связи (Vi). Т. о., правило исправления ошибок может отслеживать изменения прогнозируемого значения «сигнального» входа для определенного «обучающего» входа. 3. Избирательность. Когда имеется множество сигналов, хеббовское правило смежности применяется независимо к каждому входу. В отличие от него, правило исправления ошибок предполагает, что изменение ассоциативной силы для каждого входа зависит от результирующей ошибки по всем активным входам. Напр., если определенный набор сигнальных входов уже приобрел высокие веса, то тогда разность членов (V0X0 — Σ [Vi Xi]) будет приближаться к нулю и тем самым препятствовать приобретению веса дополнительными, одновременно действующими сигналами. Т. о., избыточные сигналы будут эффективно подавляться. Кроме того, если ни одни из сигнальных входов не обладает предварительным преимуществом, общий вес связи будет распространяться на все одновременно действующие сигнальные входы. В результате, элемент может «настраиваться» так, что он будет активизироваться только определенной конфигурацией входов, а не к.-л. одним из этих входов.
Ви переглядаєте статтю (реферат): «Синаптическая фасилитация» з дисципліни «Психологічна енциклопедія»
