Інтелектуальна система дослідження методів машинного навчання



Сторінка10/15
Дата конвертації27.01.2020
Розмір0,56 Mb.
ТипРеферат
1   ...   7   8   9   10   11   12   13   14   15

CNN архитектура


У машинному навчанні CNN, або ConvNet - це клас глибоких штучних нейронних мереж, що найчастіше застосовується для аналізу візуальних зображень.

CNNs використовують варіацію багатошарових перцептронів, призначених для того, щоб вимагати мінімальної попередньої обробки. Вони також відомі як інваріантні зсуву або космічні інваріантні штучні нейронні мережі (SIANN), виходячи з їх архітектури загальної ваги та характеристики інваріантності перекладу. [2]



Рисунок 2.3.1 – З лівої сторони приклад звичайної 3-уровневої нейронної мережи, з правої ConvNet, структура якого організована у 3 вимірах

Ми можемо обчислити просторовий розмір вихідного об'єму як функцію розміру вхідного об'єму (W), розміру рецептивного поля нейронів Conv Layer (F), кроку, з яким вони застосовуються (S), і кількість нульовий пробіл (P) на кордоні. Ви можете переконати себе, що правильна формула для розрахунку кількості "нейтральних" нейронів дає (W-F + 2P) / S + 1

Параметри шару CONV складаються з набору фільтрів, які можна вивчати. Кожен фільтр невеликий просторово (по ширині і висоті), але простягається через всю глибину вхідного об'єму. Наприклад, типовий фільтр на першому шарі ConvNet може мати розмір 5x5x3 (тобто 5 пікселів ширини та висоти, а 3 - оскільки зображення мають глибину 3, кольорові канали).Під час прямих передач кожен фільтр масштабується по ширині та висоті та обчислюється крапкові продукти між елементами фільтра та входом у будь якому положенні. Інтуїтивно мережа буде вивчати фільтри, які активуються, коли вони бачать певний тип візуальних функцій, таких як край певної орієнтації або крапку деякого кольору на першому шарі.

Згортки застосовуються по черзі з зменшенням розмірностей(pooling). Найрозповсюдженіші зменшення average pooling (вибирається середнє) та max pooling(вибирається максимальне) зображені на Рисунку 2.Х. Якщо pooling здійснюється (2, 2) – параметри пулінгу – то розмірність зменшується в два рази по обох осях. І як показано на Рисунку 2.1.3 матриця ділиться на віконечка 2х2, і з них у результуючу матрицю записується, у випадку середнього – середнє, у випадку max pooling – максимальне. Найчастіше використовується max pooling, хоча взагалі вибір найкращого зниження розмірностей підбирається емпірично та в залежності від задачі.[2]

На рисунку 2.3.2. наведено роботу нейроної мережі з вхідними даними W1=5,H1=5,D1=3 та параметрами K=2, F=3,S=2,P=1.



Рисунок 2.3.2 – Наведено 3 послідовних шага згорткової нейроної мережи з вхіднимі даними

Спочатку, потрібно щоб ваги CNN ітеративне навчилися для мінімізації помилок класифікації набору тестових зображень.

Буде використано біля 6-7 шарів нелінійних нейронів складених поверх друг друга. Шари будуть 2-мірними “переможець отримує все” з перекриваючими отрімуючими полями, ваги яких поділяються. “Max pooling” визначає перемогу нейронів шляхом розподілу шарів у квадратичні області локального гальмування, вибираючи найбільш активний нейрон кожного регіону. Переможці деякого шару представляють собою менший шаблон із нижчим дозволом, який подає наступний шар у ієрархії.

В певний момент вниз вибірка автоматично веде до першого 1-мірного шару. З тих пір можливі лише тривіальні 1-мірні переможці-всі-регіони, тобто верхня частина ієрархії стає стандартним багатошаровим перцептроном (MLP). Приймальні поля та регіони, які володіють переможцями, завжди є (приблизно) мінімальними, наприклад, лише 2x2 або 3x3 нейронами. Це призводить до (найближчої) максимальної глибини шару з нетривіальними (2-мірними) переможцями всіх областей. По суті, настання на мінімальних полях 2x2 автоматично визначає всю глибинну архітектуру, крім кількості різних згорткових ядра на шар та глибини MLP зверху.

Навчаються лише нейрон-переможець, тобто інші нейрони не можуть забути те, що вони вивчали до цих пір, хоча на них можуть впливати зміна ваги в більш периферичних шарах. В результаті зменшення синаптичних змін на часовий інтервал відповідає біологічно правдоподібному скороченню споживання енергії. Отриманий алгоритм тренування має бути повністю онлайн, тобто оновлення ваги відбуваються після кожного етапу обчислення градієнта.

У випадку з MNIST найпопулярнішим є використання 3-шарової нейронної мережи 28*28*1, а найбільшої точності було досягнуто при використанні комбінації з 35 згорткових нейронних мереж.

В результаті роботи нейронної мережі очікується 10-вимірного вектора, де наприклад для цифри “6” очікується y (x) = (0,0,0,0,0,0,1,1,0,0,0)

Для визначення того, наскільки якісні результати були отримані, та наскільки вірно були обрані ваги та упередження, використовується функція витрат.



Рис 2.3.3 Візуалізація пошуку локального мінімуму С


Тут w позначає сукупність всіх ваг у мережі, b всі припущення, n - загальна кількість вхідних даних для тренувань, a являє собою вектор виходів з мережі при введенні x, а сума перевищує всі вхідні дані для тренувань, х
Загальна мета роботи нейронної мережи зменшити С, витрати. Для відстеження змін, використовується формула:


Щоб з'ясувати, як зробити такий вибір, він допомагає визначити як вектор змін у v, ≡ ( , ) T, де T знову є операцією транспонування, перетворюючи вектори рядків у векторні стовпці. Ми також визначимо градієнт C як вектор часткових похідних . Вектор градієнта позначається ∇C, тобто:




    1. Каталог: bitstream -> 123456789
      123456789 -> Тема: Безпека вулиці: азбука дороги
      123456789 -> Методичні вказівки до вивчення дисципліни сво «доктор філософії»
      123456789 -> Регіональний підхід до дослідження формування ціннісних орієнтацій студентів мистецьких вишів україни н. Г. Тарарак
      123456789 -> Методологічне підґрунтя дослідження формування ціннісних орієнтацій студентів вищих навчальних закладів мистецького профілю україни
      123456789 -> Загальна характеристика роботи
      123456789 -> Інформаційне суспільство в контексті політичної культури суспільства
      123456789 -> Заліщицька районна державна адміністрація Відділ з питань освіти Районний методичний кабінет Використання активних та інноваційних технологій як засіб активізації
      123456789 -> Україна тернопільська область опис досвіду роботи учителя біології


      Поділіться з Вашими друзьями:
1   ...   7   8   9   10   11   12   13   14   15


База даних захищена авторським правом ©pedagogi.org 2019
звернутися до адміністрації

    Головна сторінка