Смещение означает, что источник электропитания или разность потенциалов подключены к полупроводниковому устройству. Разность потенциалов бывает двух типов: прямое смещение и обратное смещение.

Прямое смещение уменьшает потенциальный барьер диода и обеспечивает легкий путь для протекания тока. В то время как в обратное смещение , разность потенциалов увеличивает прочность барьера, который предотвращает перемещение носителя заряда через переход.Обратное смещение обеспечивает высокий резистивный путь к току, и, следовательно, ток не протекает по цепи.

Содержание: прямое смещение против обратного смещения

1. Сравнительная таблица
2. Определение
3. Ключевые различия

Сравнительная таблица

Основа для сравнения	Прямое смещение	Обратное смещение
Определение	Внешнее напряжение, которое прикладывается к PN-диоду для уменьшения потенциального барьера и составляет легкий поток тока через него, называется прямым смещением.	Внешнее напряжение, которое подается на PN-переход для усиления потенциального барьера и предотвращения прохождения через него тока, называется обратным смещением.
Символ
Соединение	Положительный вывод батареи подключен к полупроводнику P-типа устройства, а отрицательный вывод подключен к полупроводнику N-типа	Отрицательный вывод батареи подключен к P-области и положительному Клемма аккумулятора подключена к полупроводнику N-типа.
Потенциал барьера	Сокращает	Усиление
Напряжение	Напряжение анода больше, чем катода.	Напряжение катода больше, чем у анода.
Прямой ток	Большой	Маленький
Слой истощения	Тонкий	Толстый
Сопротивление	Низкое	Высокое
Поток тока	Позволяет	Предотвращает
Величина тока	Зависит от прямого напряжения.	Ноль
Эксплуатация	Проводник	Изолятор

Определение прямого смещения

При прямом смещении внешнее напряжение подается на диод PN-перехода. Это напряжение устраняет потенциальный барьер и обеспечивает низкое сопротивление пути протеканию тока. Прямое смещение означает, что положительная область подключена к p-клемме источника питания, а отрицательная область подключена к устройству n-типа.

Напряжение потенциального барьера очень мало (около 0,7 В для кремния и 0,3 В для соединения германия), поэтому для полного устранения барьера требуется очень небольшое количество напряжения. Полное устранение барьера представляет собой путь с низким сопротивлением для протекания тока. Таким образом, ток начинает течь через соединение. Это

AN013 — Защита от обратной полярности

Большинство электронных схем будут серьезно раздражены, если питание подключено с обратной полярностью.Это часто объявляется немедленной потерей «волшебного дыма», на который полагаются все электронные компоненты. На более серьезной ноте часто наносится непоправимый ущерб, особенно при напряжении питания 5 В или более. Традиционная схема защиты от обратной полярности состоит из диода, соединенного последовательно с входным источником питания или параллельно с предохранителем или другим защитным устройством, которое сгорит.

Последовательный диод уменьшает напряжение, доступное для цепи, на которую подается питание. Если он работает от батарей, снижение напряжения может легко означать, что значительная часть емкости батареи недоступна для цепи.0,7 В не так много, но это настоящая проблема, если схема опирается на напряжение не менее 5 В, а 4 х 1,5 В ячейки обеспечивают только номинальное 6 В. Последовательный диод может также рассеивать много ватт в цепи, которая потребляет большой ток — постоянно или периодически.

Параллельный диод должен быть достаточно надежным, чтобы выдерживать полный ток короткого замыкания от источника до тех пор, пока не сработает предохранитель. Это обычно означает очень большой и дорогой диод. Меньший можно использовать, но в «жертвенном» режиме.Это означает, что он, скорее всего, выйдет из строя (неисправность диода — это всегда короткое замыкание), но он должен быть достаточно надежным, чтобы не допустить разрыва цепи в течение периода неисправности из-за соединения или перегорание провода.

Также можно использовать реле, что дает преимущество практически нулевого падения напряжения на контактах. Однако катушки реле потребляют значительный ток, и он может легко превысить ток, потребляемый защищаемой цепью. Если источником питания является большая батарея, которая имеет зарядные устройства по требованию, это не проблема, за исключением небольшой стоимости эксплуатации реле.Во многих случаях, однако, это не жизнеспособный вариант.

Альтернатива — использовать МОП-транзистор. Во многих случаях это вопрос одного MOSFET, без каких-либо требований к другим частям. Это работает, если напряжение питания ниже максимального напряжения затвор-источник, но необходимы дополнительные детали с напряжением свыше 12 В или около того. Преимущество MOSFET состоит в том, что падение напряжения исчезающе мало, если выбрано правильное устройство.

Часто можно также использовать BJT (биполярный переходный транзистор) для защиты от обратной полярности, но они не работают так же хорошо, как MOSFET и имеют несколько присущих им недостатков, которые делают их гораздо менее подходящими.Для начала база должна быть снабжена током, чтобы транзистор включился, а это пустая трата энергии. BJT не может включаться так же сильно, как MOSFET, поэтому падение напряжения на транзисторе больше. В то время как он обычно побеждает диод (даже Шоттки), реального преимущества нет, потому что МОП-транзистор является гораздо лучшим вариантом.

На следующих рисунках есть раздел, обозначенный просто «Электроника». На нем изображены электролитический конденсатор и операционный усилитель, но может быть что угодно, от простой звуковой схемы, логических элементов (и т. Д.).) или микропроцессор. Ток утечки может составлять от нескольких миллиампер до нескольких ампер, и вам нужно выбрать схему, которая лучше всего подходит для вашего приложения. Это , а не руководство по проектированию, а скорее набор идей, которые можно расширять и адаптировать по мере необходимости.

— это самая простая и дешевая форма защиты. В цепях низкого напряжения диод Шоттки означает, что падение напряжения снижается с типичного 0,7 В до, возможно, 200 мВ или около того.Это очень сильно зависит от тока, и при максимальном номинальном токе падение напряжения может превышать 1 В стандартного кремниевого диода или около 500 мВ для типов Шоттки. Требуется только диод — никаких других частей не требуется, поэтому он является самым простым и дешевым.

Рисунок 1 — Диодная защита, Серия (слева), Параллельно (справа)

Несмотря на то, что последовательный диод очень прост в реализации, как отмечалось выше, при минимальном токе наблюдается минимальная потеря напряжения около 650 мВ, увеличивающаяся с ростом тока нагрузки.С диодом 1 А потеря напряжения будет близка к 900 мВ при 1 А, что почти на вольт понизит напряжение питания. Если цепь питается от батарей, это представляет собой серьезную потерю мощности, поскольку около 900 мВт доступной мощности теряется без всякой уважительной причины. Если у вас есть запас энергии или высокое напряжение (25 В или более), потери на диодах незначительны.

А диоды Шоттки лучше, но они, как правило, дороже и недоступны для высоких напряжений. Для 1А диода Шоттки вы можете ожидать потерю около 400 мВ при 1А.Диоды Шоттки имеют прямое напряжение в диапазоне от 150 мВ до 450 мВ, в зависимости от производственного процесса, номинального тока и фактического тока. Максимальное обратное напряжение составляет около 50 В, но обратная утечка выше, чем у стандартных кремниевых диодов. Это может вызвать проблемы с чувствительными устройствами, но обычно это не так. (Более или менее) типичное напряжение с диодом Шоттки показано в скобках. Последовательный диод может «поддерживаться» параллельным диодом на стороне оборудования, если утечка диода может вызвать проблемы.Это редко требуется или используется на практике.

При использовании параллельного диода (иногда называемого «защитной шайбой») он должен быть рассчитан на более высокий ток, чем может обеспечить источник. Если источником напряжения являются батареи (любой химический состав), они могут подавать чрезвычайно высокий ток, поэтому для отключения цепи необходимо какое-то средство — предпочтительно до того, как диод перегреется и выйдет из строя. Хотя диоды отказывают в коротком замыкании в 99% случаев, это не то, на что вы бы хотели положиться, чтобы защитить дорогую электронику.Некоторые источники питания могут возражать против короткого замыкания и могут ограничивать ток или выходить из строя.

Предохранитель — это самый простой и дешевый способ отключения питания, если он подключен в обратном направлении, и предохранитель должен быть рассчитан на максимальный ток, ожидаемый схемой. В этой схеме напряжение на диоде не теряется, но — это — небольшое напряжение на предохранителе. Это падение напряжения обычно незначительно. Естественно, если источник питания подключен в обратном направлении, предохранитель будет (должен) перегореть, а диод может выжить или не выжить.Это означает, что система должна быть проверена и отремонтирована в случае необходимости, если в любое время поменять источник питания, включая замену предохранителя и / или диода. Возможно, вы сможете использовать термисторный переключатель PTC (положительный температурный коэффициент) «PolySwitch» — это зависит от многих факторов, которые необходимо изучить в первую очередь.

Хотя на первый взгляд это может показаться глупой идеей, реле — отличный способ обеспечить защиту от обратной полярности. Это при условии, что источник напряжения может питать реле без снижения его мощности.В оборудовании с батарейным питанием это обычно не вариант, но он может быть полезен для оборудования в легковых или грузовых автомобилях, где батарея имеет большую емкость и непрерывно заряжается во время работы двигателя. Реле не должно использоваться для любого оборудования, которое постоянно подключено, так как оно разряжает батарею.

Как вы можете видеть ниже, катушка реле может получать ток только при правильной полярности. С положительным на (положительном) входе, D1 смещен в прямом направлении, и катушка получает около 11.3 В, что более чем достаточно для его втягивания. Когда Н.О. (нормально разомкнутые) контакты замкнуты, питание подается на электронику. Если полярность обратная, ток в катушке не течет, и электроника полностью изолирована от источника питания, потому что реле не может активироваться.

Рисунок 2 — Релейная защита

Преимущество реле в том, что оно может выдерживать очень высокий ток практически без падения напряжения на контактах. Реле надежны и могут работать долгие годы без какого-либо внимания.Им не нужен радиатор (независимо от потребляемого тока), и они легко доступны в бесчисленных конфигурациях и практически для любых известных требований. Автомобильные реле также уже прошли все необходимые обязательные испытания, поэтому могут снизить стоимость испытаний на соответствие, когда это требуется.

Собственная прочность реле является огромным преимуществом в автомобильных приложениях, где распространены события «сброса нагрузки». Это происходит, когда тяжелая нагрузка отключена от электрической системы, и генератор не может исправить достаточно быстро, чтобы предотвратить перенапряжение.Существуют и другие причины, и все автомобильное оборудование должно быть спроектировано так, чтобы выдерживать значительное перенапряжение без сбоев. Реле могут справиться с этим с легкостью.

Реле доступны со многими различными напряжениями катушки (например, 5, 12, 24, 36, 48 В), и существуют модели для любых возможных требований к току контакта. Если входное напряжение слишком высокое для катушки, можно использовать резистор для снижения напряжения до безопасного значения. Схема «КПД» также может быть включена (последовательный резистор с параллельным электролитическим конденсатором), который подает на реле напряжение, превышающее нормальное, для его включения, а затем уменьшает ток, когда крышка заряжается до значения, немного превышающего гарантированный ток удержания (определяется резистором).Ток удержания может составлять всего 1/3 от номинального тока катушки, а иногда и меньше.

MOSFET имеют очень желательную особенность. Все они имеют обратный диод, который определяет полярность напряжения, но когда полевой МОП-транзистор включен, он ведет себя одинаково в любом направлении. Таким образом, когда диод смещен в прямом направлении, а полевой МОП-транзистор включен, напряжение на полевом МОП-транзисторе определяется R DS на (сопротивление «сток-исток« включено ») и током, а не на прямом напряжении диод.Это полезное свойство сделало МОП-транзисторы предпочтительным устройством для схем защиты от обратной полярности.

Однако вы должны учитывать тот факт, что для работы МОП-транзисторов требуется некоторое напряжение между затвором и источником, и в цепи с очень низким напряжением (менее 5 В) у вас может не хватать напряжения для включения МОП-транзистора. МОП-транзисторы логического уровня могут включаться при более низких напряжениях, чем стандартные типы, но также более ограничены с точки зрения R DS на , и меньше доступных устройств доступно, особенно типа P-Channel.

На чертеже показаны резистор и стабилитрон. Они обеспечивают защиту затвора для затвора MOSFET, если есть вероятность или , что максимальное напряжение затвор-источник может быть превышено. Хотя они могут быть опущены, это обычно неразумно. Если переходный всплеск превышает напряжение пробоя затвора (обычно около ± 20 В), МОП-транзистор будет поврежден и почти наверняка будет действовать в обоих направлениях. Это полностью сводит на нет цепь защиты !

Для оборудования с питанием от батарей маловероятно, что произойдет «разрушительное событие», но затвор МОП-транзистора может все же быть поврежден при некоторых обстоятельствах.Это кажется маловероятным, но высокое обратное напряжение (например, статическое) может привести к выходу из строя, если защита не используется. Некоторые полевые МОП-транзисторы имеют встроенный стабилитрон затвора, и тогда резистор необходим для предотвращения разрушающего тока с напряжениями, превышающими напряжение стабилитрона.

Рисунок 3 — Защита MOSFET — N-канал (слева), P-канал (справа)

Вы можете использовать устройства N-Channel или P-Channel, в зависимости от полярности цепи и от того, можете ли вы прервать соединение заземления с заземлением, не вызывая неправильного поведения цепи.В автомобильной среде шасси является отрицательным запасом, и его трудно или невозможно прервать. Это означает, что схема защиты должна быть в положительной шине питания, что немного менее удобно, поскольку обычно требуется P-канальный MOSFET. Они обычно имеют более низкую мощность и ток, чем их N-канальные аналоги. Вы все еще можете использовать устройство N-Channel, но оно более утомительно и требует больше схем (показано ниже).

Если вы используете МОП-транзистор с каналом P-типа, соединение заземления / заземления (отрицательное) не прерывается.Это особенно полезно для автомобильной электроники. Однако есть некоторые ограничения, о которых вы должны знать. Наиболее важным (и наиболее вероятным для возникновения проблем) является требуемое напряжение затвор-источник. Это не проблема с автомобильными приложениями, потому что доступно 12 В, но это касается более низких напряжений.

МОП-транзисторы с каналом P-уровня логического уровня (5 В), безусловно, доступны, но, как уже отмечалось, они очень ограничены по сравнению с типами N-каналов. Они также обычно более дороги для эквивалентных номинальных значений тока, и многие из них доступны только в корпусах для поверхностного монтажа (SMD).Это ограничивает их полезность в цепях низкого напряжения и высокого тока, где невозможно или целесообразно отключить отрицательную шину (что позволяет использовать устройства N-Channel).

Если в противном случае напряжение слишком низкое, чтобы включить МОП-транзистор, существует возможность использования схемы подкачки заряда для смещения на устройстве N-канала. Это добавляет сложность и стоимость, но является жизнеспособным вариантом, когда другие методы не подходят по любой причине. Зарядный насос используется для генерации напряжения, которое больше входного питания (обычно примерно на 10-12 В или около того), и это напряжение включает полевой МОП-транзистор.Общая идея показана ниже, но детали зарядного насоса не предоставлены — это «концептуальная» схема, а не полное решение. Показанные защитные диоды могут быть или не быть необходимыми, в зависимости от схемы.

Рисунок 4 — N-канальный МОП-транзистор с зарядным насосом

Существует много разных способов создания нагнетательного насоса, и схема выходит за рамки этой статьи. Однако это должно быть устроено так, чтобы сам зарядный насос не мог подвергаться обратной полярности.При подаче питания правильной полярности собственный диод в Q1 проводит и обеспечивает питание для зарядного насоса и остальной части цепи. В течение нескольких миллисекунд зарядный насос выдал достаточное напряжение для включения Q1, и MOSFET включается и обходит свой собственный диод. Потеря напряжения определяется исключительно сопротивлением МОП-транзистора и током, потребляемым схемой. Инкапсулированный DC-DC преобразователь (с плавающим выходом) может заменить зарядный насос, если это необходимо.

Использование BJT подходит для слаботочных нагрузок, но там, где напряжение может быть слишком низким для полевого МОП-транзистора, поскольку для его правильного включения недостаточно напряжения затвора. В приведенных ниже примерах падение транзистора составляет 125-150 мВ при токе нагрузки 40 мА. Падение напряжения намного меньше при более низких токах. Необходимо выбрать R1, чтобы обеспечить достаточный базовый ток для насыщения транзистора. Обычно это означает, что вам необходимо обеспечить как минимум в три и до пяти раз больше базового тока, чем вы рассчитываете из бета-версии транзистора.

Например, для транзистора с коэффициентом усиления (бета или h FE ) 100 необходимо 400 мкА для тока нагрузки 40 мА, но вы должны подавать не менее 5 мА, иначе падение напряжения на транзисторе будет чрезмерным. На чертеже предполагается, что транзистор имеет коэффициент усиления не менее 65 (из таблицы данных), а резистор 2,2 кОм обеспечивает базовый ток около 2 мА, что обеспечивает потери ниже 50 мВ при 40 мА. Нереально ожидать намного лучшего, чем это без базового тока, становящегося чрезмерным.Транзистор рассеивает менее 10 мВт при показанных схемах. Вы можете использовать небольшой сигнальный транзистор (например, BC549 или BC559) для слаботочных нагрузок.

Рисунок 5 — Транзистор PNP (слева), NPN (справа)

Существует ограничение, связанное с использованием BJT, и это напряжение обратного пробоя на базе эмиттера. В большинстве случаев напряжение пробоя составляет около 5 В, хотя в некоторых примерах оно может быть больше. Это означает, что иметь входное напряжение более 5 В, вероятно, неразумно, поскольку соединение эмиттер-база будет смещено в обратном направлении.Это приводит к ухудшению рабочих характеристик транзистора и может передавать или обратного напряжения в электронику. Полный отказ может передать полное обратное напряжение электронике, что приведет к отказу. Эта проблема, кажется, избежала обнаружения в большинстве схем, которые я видел.

Транзистор NPN предположительно лучше, потому что они обычно имеют более высокий коэффициент усиления и, следовательно, меньшие потери из-за более высокого сопротивления, используемого для питания базы. На практике разница будет в лучшем случае незначительной.Как и N-канальный МОП-транзистор, NPN-транзисторы должны использоваться в отрицательном выводе и требовать, чтобы отрицательный вход и шасси могли быть изолированы. Та же самая проблема обратной поломки соединения эмиттер-база применима.

Как всегда в электронике, каждая из этих схем имеет свои преимущества и недостатки. Вам необходимо выбрать вариант, наиболее подходящий для вашего приложения, исходя из требуемого тока, доступного напряжения и допустимого падения напряжения.В коммерческих продуктах стоимость может быть решающим фактором, часто за счет повышения производительности.

В некоторых случаях продукт может требовать выживания при воздействии высокой энергии импульса в рамках процесса испытаний и / или согласований. Этого может быть трудно достичь с помощью некоторых обязательных высокоэнергетических импульсных испытаний, используемых различными учреждениями по всему миру, и это также необходимо учитывать в автомобильных приложениях, где пики «разгрузки» могут вызывать пики высокого напряжения на всем протяжении транспортного средства. электрическая система.Следовательно, информация здесь будет не более чем отправной точкой для некоторых приложений. Тщательное тестирование необходимо для любого продукта, предназначенного для агрессивной среды.

Вы также должны учитывать вероятность (или иным образом) применения обратного напряжения. Во многих случаях это может произойти только тогда, когда продукт собран, и если это сделано таким образом, чтобы устранить все ошибки, кроме устранения обратной полярности никогда не произойдет. Большинство продуктов не имеют внутренней защиты от полярности, если они питаются от сети.Это потому, что после того, как оборудование собрано, нет никакой возможности, что полярность когда-либо может быть изменена, кроме кого-то неопытного, пытающегося обслуживать его. Немногие (если есть) продукты учитывают ошибки, допущенные во время обслуживания.

Если ваша схема может справиться с падением напряжения от диода и потребляет низкий ток, возможно, вам нужен простой блокирующий диод (стандартный или Шоттки). Не думайте, что, поскольку схема MOSFET имеет наилучшую производительность, она автоматически является лучшим выбором.Эта производительность имеет повышенную стоимость и имеет свои особые ограничения. Хорошее проектирование должно минимизировать стоимость и сложность, а также обеспечить подход, который наилучшим образом соответствует вашим требованиям дизайна.

Наконец, никогда не стоит недооценивать использование реле. Это один из старейших «электронных» компонентов (на самом деле они электромеханические, но это не относится к пункту ). Их прочность и универсальность не имеют себе равных среди других компонентов, и тот факт, что они все еще используются сотнями миллионов, свидетельствует об этом.Обратной стороной является их катушка тока, но это часто имеет второстепенное значение.

1. — самое низкое прямое падение напряжения реальных диодов Шоттки, всегда лучший выбор — IXYS
2. Схемы защиты от обратного тока / батареи — Texas Instruments
   
3. Автомобильные МОП-транзисторы: Защита от обратной батареи — Infineon
   
4. Защита от обратного тока — Замечание по применению — Maxim

и авторское право © Род Эллиотт, 09 января 2017 г.

Нейронная сеть кодирования — прямое распространение и обратное распространение | Имад Даббура

Почему нейронные сети?

В соответствии с универсальной приближенной теоремой , нейронные сети могут аппроксимировать, а также изучать и представлять любую функцию при достаточно большом слое и желаемом запасе ошибок. Нейронная сеть узнает истинную функцию путем построения сложных представлений поверх простых. На каждом скрытом слое нейронная сеть изучает новое пространство признаков, сначала вычисляя аффинные (линейные) преобразования заданных входов, а затем применяя нелинейную функцию, которая, в свою очередь, будет входом следующего слоя.Этот процесс будет продолжаться, пока мы не достигнем выходного слоя. Следовательно, мы можем определить нейронную сеть как потоки информации от входов через скрытые слои к выходу. Для трехуровневой нейронной сети запомненная функция будет иметь вид: f (x) = f_3 (f_2 (f_1 (x))) , где:

• f_1 (x) : функция изучена на первом скрытом слое
• f_2 (x) : функция изучена на втором скрытом слое
• f_3 (x) : функция изучена на выходном слое

Таким образом, на каждом слое мы изучаем различное представление, которое усложняется для последующих скрытых слоев.Ниже приведен пример трехслойной нейронной сети (мы не учитываем входной слой):

Рисунок 1: Нейронная сеть с двумя скрытыми слоями

Например, компьютеры не могут понимать изображения напрямую и не знают, что делать с данными пикселей. Однако нейронная сеть может построить простое представление изображения в ранних скрытых слоях, которое идентифицирует края. Учитывая вывод первого скрытого слоя, он может выучить углы и контуры. Учитывая второй скрытый слой, он может изучать такие части, как нос.Наконец, он может узнать личность объекта.

Поскольку истина никогда не бывает линейной и представление очень важно для производительности алгоритма машинного обучения, нейронная сеть может помочь нам построить очень сложные модели и предоставить алгоритму возможность изучать такие представления, не беспокоясь о разработке функций, которая требует практиков очень много времени и усилий, чтобы курировать хорошее представление.

Пост состоит из двух частей:

1. Кодирование нейронной сети: это влечет за собой написание всех вспомогательных функций, которые позволили бы нам реализовать многослойную нейронную сеть.При этом я буду объяснять теоретические части, когда это возможно, и давать советы по реализации.
2. Применение: Мы внедрим нейронную сеть, которую мы кодировали в первой части, в проблеме распознавания изображений, чтобы увидеть, сможет ли построенная сеть определить, есть ли на изображении кошка или собака, и увидеть, как она работает 🙂

Эта публикация будет первой в серии публикаций, посвященных реализации нейронной сети, включая проверку градиента , инициализацию параметров, регуляризацию L2, отсев ., Архитектура сети предполагает определение ее глубины, ширины и функций активации, используемых на каждом уровне. Глубина — количество скрытых слоев. Ширина — это количество единиц (узлов) на каждом скрытом слое, поскольку мы не контролируем ни размеры входного, ни выходного слоя. Существует довольно много функций активации, таких как выпрямленная линейная единица, сигмоид, гиперболический тангенс и т. Д. . Исследования доказали, что более глубокие сети превосходят сети с большим количеством скрытых единиц.Поэтому всегда лучше и не повредит обучению более глубокой сети (с уменьшающейся прибылью).

Давайте сначала введем некоторые нотации, которые будут использоваться в посте:

Далее мы запишем размеры многослойной нейронной сети в общем виде, чтобы помочь нам в умножении матриц, потому что одна из главных проблем в реализация нейронной сети позволяет получить правильные размеры.

Два уравнения, которые нам нужны для реализации прямого распространения: эти вычисления будут выполняться на каждом уровне.

Сначала мы инициализируем матрицы весов и векторы смещения. Важно отметить, что мы не должны инициализировать все параметры равными нулю, потому что это приведет к тому, что градиенты будут равны, и на каждой итерации выходные данные будут одинаковыми, а алгоритм обучения ничего не изучит. Поэтому важно случайным образом инициализировать параметры значениями от 0 до 1. Также рекомендуется умножать случайные значения на небольшой скаляр, например 0,01, чтобы активировать единицы активации и находиться в областях, где производные функций активации не близки к нуль.{-z}) . Она превосходит сигмовидную функцию, в которой среднее значение ее выхода очень близко к нулю, что, другими словами, центрирует выход единиц активации вокруг нуля и делает диапазон значений очень маленьким, что означает более быстрое обучение. Недостаток, который он разделяет с сигмовидной функцией, состоит в том, что градиент очень мал на хорошей части домена.

выпрямленная линейная единица (ReLU) : г (z) = макс. {0, z} . Модели, близкие к линейным, легко оптимизировать.Поскольку ReLU обладает многими свойствами линейных функций, он хорошо работает в большинстве задач. Единственная проблема заключается в том, что производная не определена при z = 0 , что можно преодолеть, присвоив производной 0 при z = 0 . Однако это означает, что при z ≤ 0 градиент равен нулю и снова не может учиться.

Линейный блок с утечкой выпрямленного тока : г (z) = макс {α * z, z} . Он преодолевает проблему нулевого градиента от ReLU и назначает α , что является небольшим значением для z ≤ 0.Tx + b , а затем применить функцию активации g (z) , например, по элементам ReLU. В ходе этого процесса мы будем хранить (кэшировать) все переменные, вычисленные и используемые на каждом уровне, которые будут использоваться при обратном распространении. Мы напишем первые две вспомогательные функции, которые будут использоваться в прямом распространении L-модели, чтобы упростить отладку. Имейте в виду, что на каждом слое у нас могут быть разные функции активации.

Мы будем использовать двоичную стоимость Cross-Entropy . Он использует метод логарифмического правдоподобия для оценки своей ошибки.Стоимость: вышеупомянутая функция стоимости является выпуклой; однако нейронная сеть обычно привязана к локальному минимуму и не гарантирует оптимальных параметров. Мы будем использовать здесь градиентное обучение.

Позволяет информации возвращаться из стоимости в обратном направлении через сеть для вычисления градиента. Следовательно, циклически перебирайте узлы, начиная с конечного узла, в обратном топологическом порядке, чтобы вычислить производную от выходных данных конечного узла по отношению к хвостовому узлу каждого ребра. Это поможет нам узнать, кто несет ответственность за большинство ошибок, и изменить параметры в этом направлении.i ∈ {0, 1} .

• Сначала загрузим изображения.
• Показать пример изображения для кота.
• Измените входную матрицу так, чтобы каждый столбец был одним примером. Кроме того, поскольку каждое изображение имеет размер 64 x 64 x 3, у нас будет 12 288 функций для каждого изображения. Поэтому входная матрица будет 12,288 x 209.
• Стандартизируйте данные, чтобы градиенты не выходили из-под контроля. Также это поможет скрытым юнитам иметь одинаковый диапазон значений. Сейчас мы разделим каждый пиксель на 255, что не должно быть проблемой.Однако лучше стандартизировать данные, чтобы они имели среднее значение 0 и стандартное отклонение 1.

 Исходные размеры: 
 -------------------- 
 Обучение : (209, 64, 64, 3), (209,) 
 Тест: (50, 64, 64, 3), (50,) Новые размеры: 
 -------------- - 
 Обучение: (12288, 209), (1, 209) 
 Тест: (12288, 50), (1, 50) 

Рисунок 3: Пример изображения

Теперь наш набор данных готов к использованию и протестирует наш реализация нейронной сети. Давайте сначала напишем многоуровневую модель для реализации обучения на основе градиента с использованием заранее определенного числа итераций и скорости обучения.

Далее мы обучим две версии нейронной сети, где каждая из них будет использовать разные функции активации на скрытых слоях: одна будет использовать выпрямленную линейную единицу ( ReLU ), а вторая будет использовать функцию гиперболического тангенса ( tanh ). ). Наконец, мы будем использовать параметры, которые мы получаем из обеих нейронных сетей, чтобы классифицировать примеры обучения и вычислять показатели точности обучения для каждой версии, чтобы увидеть, какая функция активации лучше всего работает в этой проблеме.

 # Установка слоев dims 
 layer_dims = [X_train.shape [0], 5, 5, 1] ​​# NN с активацией tanh fn 
 parameters_tanh = L_layer_model (X_train, y_train, layer_dims, learning_rate = 0,03, num_iterations = 3000, hidden_layers_activation_fn = "tanh") # Печать с точностью до 
 (X_test , параметры_tanh, y_test, активации_fn = "tanh") Стоимость после 100 итераций: 0,6556 
 Стоимость после 200 итераций: 0,6468 
 Стоимость после 300 итераций: 0,6447 
 Стоимость после 400 итераций: 0,6441 
 Стоимость после 500 итераций это: 0.6440 
 Стоимость после 600 итераций: 0,6440 
 Стоимость после 700 итераций: 0,6440 
 Стоимость после 800 итераций: 0,6439 
 Стоимость после 900 итераций: 0,6439 
 Стоимость после 1000 итераций: 0,6439 
 Стоимость после 1100 итераций: 0,6439 
 Стоимость после 1200 итераций: 0,6439 
 Стоимость после 1300 итераций: 0,6438 
 Стоимость после 1400 итераций: 0,6438 
 Стоимость после 1500 итераций: 0,6437 
 Стоимость после 1600 итераций составляет: 0 ,6434 
 Стоимость после 1700 итераций: 0,6429 
 Стоимость после 1800 итераций: 0,6413 
 Стоимость после 1900 итераций: 0,6361 
 Стоимость после 2000 итераций: 0,6124 
 Стоимость после 2100 итераций: 0,5112 
 Стоимость после 2200 итераций: 0,5288 
 Стоимость после 2300 итераций: 0,4312 
 Стоимость после 2400 итераций: 0,3821 
 Стоимость после 2500 итераций: 0,3387 
 Стоимость после 2600 итераций: 0,2349 
 Стоимость после 2700 итераций: 0 ,2206 
 Стоимость после 2800 итераций: 0,1927 
 Стоимость после 2900 итераций: 0,4669 
 Стоимость после 3000 итераций: 0,1040 'Точность составляет: 68,00%.' 

Рисунок 4: Кривая потерь с функцией активации Тан

 # NN с активацией Relu fn 
 parameters_relu = L_layer_model (X_train, y_train, layer_dims, learning_rate = 0,03, num_iterations = 3000, hidden_layers_activation_fn = "точность relu") # Распечатать точность (X_test, parameters_relu, y_test, активации_fn = "relu") Стоимость после 100 итераций: 0.6556 
 Стоимость после 200 итераций: 0,6468 
 Стоимость после 300 итераций: 0,6447 
 Стоимость после 400 итераций: 0,6441 
 Стоимость после 500 итераций: 0,6440 
 Стоимость после 600 итераций: 0,6440 
 Стоимость после 700 итераций: 0,6440 
 Стоимость после 800 итераций: 0,6440 
 Стоимость после 900 итераций: 0,6440 
 Стоимость после 1000 итераций: 0,6440 
 Стоимость после 1100 итераций: 0,6439 
 Стоимость после 1200 итераций: 0 ,6439 
 Стоимость после 1300 итераций: 0,6439 
 Стоимость после 1400 итераций: 0,6439 
 Стоимость после 1500 итераций: 0,6439 
 Стоимость после 1600 итераций: 0,6439 
 Стоимость после 1700 итераций: 0,6438 
 Стоимость после 1800 итераций: 0,6437 
 Стоимость после 1900 итераций: 0,6435 
 Стоимость после 2000 итераций: 0,6432 
 Стоимость после 2100 итераций: 0,6423 
 Стоимость после 2200 итераций: 0,6395 
 Стоимость после 2300 итераций составляет: 0 ,6259 
 Стоимость после 2400 итераций: 0,5408 
 Стоимость после 2500 итераций: 0,5262 
 Стоимость после 2600 итераций: 0,4727 
 Стоимость после 2700 итераций: 0,4386 
 Стоимость после 2800 итераций: 0,3493 
 Стоимость после 2900 итераций это: 0,1877 
 Стоимость после 3000 итераций составляет: 0,3641 "Точность составляет: 42,00%." 

Рисунок 5: Кривая потерь с функцией активации ReLU

Обратите внимание, что приведенные выше показатели точности, как ожидается, приведут к завышению показателей точности обобщения.

Цель этого поста состоит в том, чтобы поэтапно кодировать Deep Neural Network и объяснять важные концепции при этом. В настоящий момент нас не волнует уровень точности, так как мы могли бы сделать кучу вещей, чтобы повысить точность, о чем и следуют следующие посты. Ниже приведены некоторые выводы:

• Даже если нейронная сеть может представлять какую-либо функцию, она может не учиться по двум причинам:

1. Алгоритм оптимизации может не найти оптимальное значение для параметров требуемой (истинной) функции ,Это может застрять в местном оптимуме.
2. Алгоритм обучения может найти другую функциональную форму, которая отличается от предполагаемой функции из-за переоснащения.

• Даже если нейронная сеть редко сходится и всегда застревает в локальном минимуме, она все же способна значительно снизить стоимость и предложить очень сложные модели с высокой точностью тестирования.
• Нейронная сеть, которую мы использовали в этом посте, является стандартной полностью подключенной сетью. Однако есть два других типа сетей:

1. Сверточный NN: где не все узлы связаны.Это лучший в своем классе для распознавания изображений.
2. Рекуррентный NN: есть соединения обратной связи, по которым выход модели возвращается обратно в себя. Он используется в основном в моделировании последовательностей.

• Полностью подключенная нейронная сеть также забывает, что произошло на предыдущих этапах, и также ничего не знает о выходных данных.
• Существует ряд гиперпараметров, которые мы можем настроить с помощью перекрестной проверки, чтобы получить наилучшую производительность нашей сети:

1. Скорость обучения (α): определяет, насколько велик шаг для каждого обновления параметров.

A. Малый α приводит к медленной сходимости и может стать очень дорогим в вычислительном отношении.

B. Большое значение α может привести к выбросам, когда наш алгоритм обучения может никогда не сойтись.

2. Количество скрытых слоев (глубина): чем больше скрытых слоев, тем лучше, но в вычислительном отношении это обходится дорого.

3. Количество юнитов на скрытый слой (ширина): Исследования показали, что огромное количество скрытых юнитов на слой не способствует улучшению сети.

4.Функция активации: какая функция используется на скрытых слоях, зависит от приложений и доменов. Это метод проб и ошибок, чтобы попробовать разные функции и посмотреть, какая из них работает лучше всего.

5. Количество итераций.

• Стандартизация данных поможет единицам активации иметь одинаковый диапазон значений и избежать выхода градиентов из-под контроля.

.