|
Название модулей |
Разделы и темы лекционных занятий |
Содержание |
Аудиторная работа (часы) |
|
Нейросети и глубокое обучение |
Логистическая регрессия |
Задача обучения, формулировка, примеры. Бинарная классификация, логическая регрессия, функция потерь, градиентный спуск - вычислительный граф и вычисление производных. Пример вычислений для логической регрессии. |
2 |
|
Нейронные сети, градиентный спуск и векторизация |
Двухслойные нейронные сети, их представление, вычисления на нейронных сетях, векторизация. Градиентный спуск на нейронных сетях. Инициализация весов. Функции активации, их примеры, преимущества и недостатки. |
3 |
|
|
Глубокие нейронные сети |
Глубокая нейросеть с L слоями, прямая пропагация, размерности матриц. Преимущество нейронных сетей. Векторизованная прямая и обратная пропагация. Оценка градиента. Аналогия и различия нейросети и мозга. |
3 |
|
|
Оптимизация нейросетей и выбор гиперпараметров |
Недообучение, переобучение и регуляризация |
Смещение и дисперсия. Схема их уменьшения. Регуляризация, почему помогает от переобучения. Dropout. Другие методы регуляризации для конкретных задач. Нормализация входных данных. Затухание и взрывной рост градиента. Инициализация весов для глубоких нейронных сетей. |
3 |
|
Оптимизация и способы градиентного спуска |
Оптимизация градиентного спуска. Градиентный спуск мини-партиями (mini-batch), стохастический градиентный спуск, сравнение. Экспоненциально взвешенное скользящее среднее (EWMA), коррекция матожидания. Градиентный спуск с моментом, RMSprop, Adam. Затухание коэффициента скорости обучения. |
4 |
|
|
Настройка гиперпараметров нейронных сетей |
Настройка гиперпараметров нейросети. Нормирование шкалы. Выбор значений для разных параметров. Пакетная нормализация в нейросети, коррекция при тестировании (использовании). |
3 |
|
|
Сверточные нейронные сети |
Сверточные нейронные сети |
Компьютерное зрение. Сверточные нейросети (CNN) - распознавание границ, шаг, расширение изображения, матричное представление. Пример сверточной нейросети. Полносвязанный слой. Объединяющий слой (Max pooling). |
3 |
|
Примеры самых известных нейронных сетей |
Примеры нейросетей. AlexNet. ResNet. Свертки 1x1. Inception Network (начальная сеть). Практические моменты обучения: расширение обучающих данных, перенос обучения (transfer learning). |
3 |
|
|
Распознавание объектов |
Алгоритмы раcпознавания объектов. Разпознавание лиц. Перенос нейронных стилей. |
4 |
|
|
Рекуррентные нейронные сети |
Тензорные вычисления и методы оптимизации вывода |
Тензорные вычисления для обучения и оптимизация вывода. Упрощение обученных нейронных сетей. |
2 |
|
Рекуррентные нейронные сети |
Рекуррентные нейронные сети, применение, задачи, вычислительная сложность. |
4 |