WWW.LIB.KNIGI-X.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Электронные матриалы
 

«28 октября 2013 Как я провел лето. Deep Learning. Содержание Введение Feed Forward Neural Net Почему deep Проблемы Сверточные нейросети. LeNet Другие ...»

Как я провел лето. Deep Learning.

Олег Харациди

ВМК МГУ

28 октября 2013

Как я провел лето. Deep Learning.

Содержание

Введение

Feed Forward Neural Net

Почему deep

Проблемы

Сверточные нейросети. LeNet

Другие эвристики

Deep Belief Network и Deep Boltzmann Machine

Deep Belief Network. Autoencoder

Deep Boltzman Machine

Dropout

Сравнение на реальных данных

Применения на практике

Как написать нейросеть

Что почитать

Олег Харациди ВМК МГУ 2/34

Как я провел лето. Deep Learning.

Введение Feed Forward Neural Net Backpropagation (Rumelhart, Hinton, Williams, 1985) Олег Харациди ВМК МГУ 3/34 Как я провел лето. Deep Learning.

Введение Почему deep Почему deep?

• Построение сложных функций зависимости (разделяющих поверхностей)

• Построение сложных признаков (в т.ч. feature learning) Олег Харациди ВМК МГУ 4/34 Как я провел лето. Deep Learning.

Введение Проблемы Проблемы нейросетей

• Большое количество совместно настраиваемых параметров

• Невыпуклая задача оптимизации Паралич сети •

• Сложность вычислений

• Медленное обучение первого слоя

• Сильная чувствительность к инициализации весов Олег Харациди ВМК МГУ 5/34 Как я провел лето. Deep Learning.

Сверточные нейросети. LeNet Сверточные нейросети Соединяем каждый нейрон только с соседними нейронами предыдущего слоя.

Y. LeCun, B. Boser, J.S. Denker, D. Henderson, R.E. Howard, W.

Hubbard, L.D. Jackel, 1989 Олег Харациди ВМК МГУ 6/34 Как я провел лето. Deep Learning.

Сверточные нейросети. LeNet Особенности сверточного слоя

• Каждый нейрон на выходе сверточного слоя – фильтр.

• Случайная свертка – обычно детектор границ.

• Допускается эвристика: сделать все фильтры равными.

Олег Харациди ВМК МГУ 7/34 Как я провел лето. Deep Learning.

Сверточные нейросети. LeNet Архитектура LeNet Чередование сверточных и max-pooling (subsampling, downsampling) слоев.

Max-pooling layer Разобьем текущий слой на несколько непересекающихся блоков и для каждого выберем максимальное значение.

Олег Харациди ВМК МГУ 8/34 Как я провел лето. Deep Learning.

Сверточные нейросети. LeNet

–  –  –

Optimal Brain Damage (LeCun, 1990) Ускорение стадии вывода (inference) сети.

После попадания в локальный минимум удаляем ребра с наименьшей по модулю второй производной и продолжаем оптимизацию.

–  –  –

Deep Belief Net

• Снова удаляем скопированную часть сети

• Добавляем выходной слой

• Запускаем обучение с учителем (снова backpropagation)

–  –  –

Deep Boltzman Machine (Salakhutdinov, Hinton, 2009) DBM иногда используется на стадии предобучения вместо Autoencoder-а.

Основное отличие от RBM – многослойная архитектура.

–  –  –

Простая эвристика: на каждой итерации backpropagation выкидываем половину нейронов скрытых слоев, вместе с их входящими и исходящими весами, а после завершения итерации – возвращаем.

После окончания обучения делим все веса пополам.

–  –  –

MNIST Предыдущий результат: 160 ошибок DBN: 118 ошибок Dropout DBN: 92 ошибки DBM + backpropagation: 94 ошибки DBM + dropout backpropagation: 79 ошибок

–  –  –

DNNResearch – стартап, созданный Georey Hinton, Alex Krizhevsky и Ilya Sutskever (2011).

В 2012 приобретен компанией Google.

Разработан алгоритм поиска по изображениям Google, аналогичный методу, использованному для ImageNet. Основан на глубокой нейронной сети типа LeNet.

–  –  –

Архитектура сети

• Если объекты обучающей выборки – изображения, то рекомендуется использовать LeNet (Рекомендации по настройке LeNet есть здесь)

• Иначе – обычная нейронная сеть с fully-connected слоями Нейросеть с fully-connected слоями

• Количество слоев – обычно 3-5

• На скрытых слоях обычно от 500 до 2000 нейронов.

• Предобучение Autoencoder-ом (опционально)

–  –  –

Инициализация весов Инициализируем все веса случайными величинами из нормального распределения с µ = 0 и 103.

Предобработка данных Признаки центрируются и нормируются. Имеет смысл поэкспериментировать.

Dropout rate Dropout rate – вероятность выкидывания узла. Для скрытых слоев выставляется dropout rate, равный p = 0.5, для входного слоя 0 p 0.5.

Похожие работы:

«12 Власть 2 0 17 ’ 0 1 КОЧЕТКОВ Александр Павлович – доктор философских наук, профессор кафедры российской политики Московского государственного университета им. М.В. Ломоносова (119991, Россия, г. Москва, Ломоносовский...»

«ЛЕЧЕНИЕ И ПРОФИЛАКТИКА Поступила в редакцию 11.11.2014 УДК 619:639.3.091 Принята в печать 19.03.2015 DOI:10.12737/13275 Гаврилин К.В.1, Бычкова Л.И.1, Дмитриева С.Н.1, Линник А.В.2 Лабораторные исследования антипар...»

«ГО ДЪ ОСМ НАДЦАТЫ Й (1880) ІЙ (1) Княгиня Дашкова и миссъ Вильной. (по по­ О внутреннемъ состояніи Россіи въ 1778 году: воду вновь открытыхъ подлинныхъ Записокъ вопросы Дидерота и отвты императрицы княгини Дашковой). Статья М.. Шугурова. Екатерины. Рукописи А. С. Пушкина...»

«Рекомендовано Наказ Міністерства охорони здоров’я України від 11.04.2014 року № 263 РЕВМАТОЇДНИЙ АРТРИТ АДАПТОВАНА КЛІНІЧНА НАСТАНОВА, ЗАСНОВАНА НА ДОКАЗАХ РОБОЧА ГРУПА З АДАПТАЦІЇ НАСТАНОВИ Яременко О.Б. Головний позаштатний спеціаліст Міністерства охорони здоров’я України зі спеціальності "Ревматологія", завідув...»

«Моя газета. Татарстан № 20 от 30 мая 2013 года От программы выигрывают и инвалиды, и работодатели О том, каково быть безработным, 27-летний житель Казани Денис Денисов знает не понаслышке. Хотя профессия у него самая что ни на есть востребованная – монтажник металлоконструкций. Но после того, как парень попал...»

«В. И. Черенков КонКурентная разведКа КаК основа формирования проаКтивных марКетинговых стратегий В с татье предс тав лены процесс с танов ления и основной инс тру ментарий конк урентной разве дки. Опре де лены пре дм...»

«Российская Академия Наук Институт философии МОДЕРНИЗАЦИЯ И ГЛОБAJIИЗАЦИЯ: ОБРАЗЫ РОССИИ В ВЕКЕ XXI Москва УДК 308 ББК 60.55 М 54 Ответственный редактор r. Федотова доктор фИ,10С. наук В. Авторы коллективной монографии к.ф.н. В....»

«ЦЕФОТАКСИМ 1. Цефотаксим.2. Дуатакс, Интратаксим, Кефотекс, Клафобрин, Клафоран, Лифоран, Оритаксим, Талцеф, Тарцефоксим, Цетакс, Цефабол, Цефантрал, Цефосим, Цефотаксим, Цефотаксим "Биохеми", Цефотаксим натрия...»









 
2017 www.lib.knigi-x.ru - «Бесплатная электронная библиотека - электронные матриалы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.