С чего мне начать изучать Deep Learning?

170
18
1
Лучший ответ
182

Как начать в глубоком обучении

математический

Для понимания базовых документов глубокого обучения важно быть знакомым с основными понятиями в линейной алгебре и исчислении. Вот хорошие сводные списки, которые охватывают основные темы, которые вы должны знать.

Я бы оценил, возможно, потребуется около недели, чтобы осветить этот раздел.

предварительный просмотр

Обзор линейной алгебры Обзор теории вероятностей Выпуклый обзор оптимизации Обзор теории дифференциальных исчислений Производные, обратное распространение и векторизация Отличное место для изучения множества предметов по математике: метакадемия - обзор

Запас слов

Байесовская роль ~ DL и RL Gradient_descent ~ NN Матричное умножение ~ NN Dot Product ~ NN L1 - L2 ~ NN KL Дивергенция ~ NN - Теория информации о кросс-энтропии ~ RL и DL - Теория информации Взаимная энтропия ~ RL и DL - Теория информации MinMax ~ GAN - Модель теории игр MDP ~ RL. Нормальное распределение / Гауссовские ~ RL и DL. - Теория вероятностей. Байесовская ~ RL и DL. - Верхняя и нижняя границы статистики. Дисперсия. Среднее многообразие. Уменьшение размерности. Выпуклая функция. Невыпуклая оптимизация.

питон

Множество людей думают, что для того, чтобы начать углубленное изучение, им следует сначала изучить разработку программного обеспечения. Типичным стереотипом является то, что инженеры по глубокому обучению являются гениями, и они начали изучать программирование, когда им было 6 или 7 лет. Что ж, хорошие новости - это не верное предположение, я знаю друзей, которые учатся в высших учебных заведениях по информатике, но они научились кодировать у своих магистров или докторов наук.

Вот список того, как начать в Python. Просмотр этих материалов должен занять от недели до месяца (зависит от вашего времени или скорости), однако программирование - это постепенный навык, и ваши навыки программирования со временем станут лучше. Так что не паникуйте, если вы медлительны.

Numpy является одной из ключевых библиотек для глубокого обучения.

Интерактивное учебное пособие по Python Python - учебное пособие по Numpy 101 Упражнения по анализу данных (Python) NumPy Практическое учебное пособие по машинному обучению с использованием Python Введение

Каркасы

Чтобы запустить ваш код в GPU, вы должны быть знакомы с одним из этих фреймворков. Вам не нужно изучать их все, это зависит от того, над какими проектами вы работаете.

Tensorflow - самый популярный фреймворк, созданный Google, за которым следует Pytorch, созданный Facebook. Преимущество использования широко используемой среды глубокого обучения заключается в пакетах и ​​библиотеках, которые были построены на основе этих фреймворков.

Почему мы используем эти рамки?

Глубокое обучение, как правило, основано на умножении матриц, и эти структуры были построены для расчета графа для умножения матриц.

Tensorflow

Сессия обзора Tensorflow от Josh Achiam Начало работы Введение в Tensorflow JavaScript Документация по Tensorflow

Keras

руководство по установке керас керас для решения простых арифметических задач

Caffee

Кафе Документация

Pytorch

Pytorch Документация

Cuda

Кроме того, полезно знать, что такое Cuda - короче говоря, Cuda - это платформа параллельных вычислений и модель программирования, которая позволяет значительно повысить производительность вычислений за счет использования мощности графического процессора (GPU).

https: //developer.nvidia.com/abo ... https: //www.shodor.org/media/con ...

Deep-Learning

Наиболее распространенное мнение заключается в том, что решение для машинного обучения состоит из трех основных категорий:

Обучение под наблюдением Обучение без надзора

Рекомендую прочитать это.

Основой глубокого обучения является нейронная сеть. У нас есть как обычная нейронная сеть (CNN), так и рекуррентная нейронная сеть (RNN). CNN полезен для таких задач, как классификация изображений и RNN для последовательного анализа. LSTM - долговременная память, это разновидность RNN со стробированной памятью.

Уроки / Блоги

Учебное пособие по нейронным сетям - путь к глубокому обучению Краткий обзор глубокого обучения Нейронные сети и глубокое обучение LSTM

Основные документы в глубоком обучении

Строительные блоки

Оригинал Backprop Оригинальная бумага LSTM Оригинальная машина Гельмгольца Оригинальная машина Больцмана Нейронные машины Тьюринга Оригинальная CNN Inception ResNet

NLP

Word2vec word2vec-2 Seq2seq RNN

Генеративная модель

Вариационный автоэнкодер GAN InfoGAN OpenAI Blog Style-Transfer

видение

Imagenet

Внимание

Нейронный машинный перевод Внимание Все что вам нужно

Эволюционный алгоритм / Генетический алгоритм

Это относится к развивающейся топологии нейронной сети - нет необходимости в обратном распространении.

Аккуратный Гипер Аккуратный OpenAI

Учебник / Курсы

Глубокое обучение Учебник Яна Гудфеллоу и Йошуа Бенжио Эндрю Нг, CS-230 - рекомендую прочитать лекционную заметку Coursera - Эндрю Нг

Родственный словарь

Рассматривайте этот словарь как алфавит глубокого обучения - для того, чтобы приблизительно понять документ глубокого обучения, вы должны быть знакомы с этими терминами.

Параметры нейронной сети Гиперпараметры Backprop Скрытый слой Глубокая сеть / Малая сеть Глубокая матрица Умножение / Точечный продукт Градиент прямого спуска продукта Функция цены CNN / RNN / LSTM Resnet / Lnet Параметры гиперпараметра Вес, смещение, функция активации, функция скорости обучения Функция потери Регуляризация / переоснащение пула Оптимизатор Softmax: Адам / Импульс / ASGD / SGD RMSProp / Adadelta / Adagrad Нормализация выпадения нормализации партии Тест-ошибка Мини-партия / Размер партии Регуляризация: ранняя остановка / снижение веса / выпадение / увеличение данных

Основные исследователи

Ян ЛеКун - изобретатель CNN - директор FAIR Йоша Бенджио - известный глубоким изучением голов учебников @ MILA Юрген Шмидхубер - известный благодаря LSTM - главный ученый @ Nnaisense Джеффри Хинтон - оригинальная статья Backprop - Director @ GoogleBrain Эндрю Нг - Deep Learning @ Coursera и Стэнфорд - руководит AI-Fund / deeplearning.ai - Landing.AI Андрей Карпати - известен хорошо написанными блогами / учебным курсом в Стэнфорде и директором AI в Tesla Ian Goodfellow - известен по GAN и учебнику глубокого обучения Фей Фей Ле - ImageNet Крис Олах - Известный для глубокого изучения блогов / визуализации Майкл Нилсон - Известные блоги для глубокого обучения

Основные исследовательские организации - для глубокого обучения

ЯРМАРКА сильна для НЛП и классификации изображений Google Brain - Широкий спектр приложений - в основном хороших для трансферного обучения / мета-обучения - языкового моделирования - Машинный перевод Uber - это сильное место для исследования эволюционного алгоритма Тесла - это не исследовательская организация - в основном применяется и фокусируется на приложениях для компьютерного зрения Microsoft AI lab -MSR OpenAI и DeepMind в основном известны как RL

ответил(а) 2020-03-10T18:57:42+03:00 8 месяцев, 3 недели назад
88

На YouTube есть несколько отличных уроков. Вот некоторые из sentdex:

Машинное обучение для анализа Forex и Stock и алгоритмического трейдинга. - Программирование на YouTube для помощи в фундаментальных инвестициях - YouTube Python для финансов с Zipline и Quantopian - YouTube Программирование на Python для финансов - YouTube

Это требует только очень элементарных знаний Python. Но если у вас нет опыта работы с Python, sentdex также дает отличное вступление.

Конечно, все это просто царапает поверхность, если вы хотите изучить некоторые методы машинного обучения, которые являются новаторскими. Вы можете найти людей, которые работают в renaissance-technologies-llc (на linkedin), и посмотреть на докторскую работу исследователей, которые там работают.

Renaissance Technologies на голову выше всех в этой области. Их доходы абсолютно нелепы, и они в основном используют статистику и машинное обучение для выбора акций. Очевидно, их стратегии являются секретными, но я уверен, что если вы будете копать достаточно глубоко, вы сможете найти несколько золотых самородков.

ответил(а) 2020-03-10T18:57:42+03:00 8 месяцев, 3 недели назад
59

Следующие источники могут послужить отправной точкой для изучения машинного обучения (углубленное обучение - это подмножество машинного обучения).

Мы можем начать с комбинации любого из следующих исходных материалов ниже, с которыми мы чувствуем себя комфортно. Однако по мере того, как мы прогрессируем и достигаем стадии, когда мы сужаем наше внимание к решению конкретной проблемы, мы можем в некоторых случаях (когда проблема не решена) прибегать исключительно к чтению журнальных статей. Онлайновая книга - это хороший базовый материал, который мы можем охватить, поэтому у нас есть необходимые знания и ссылки при необходимости. Нам не нужно сдерживать себя чувством, что нам нужно охватить весь фон этой книги, прежде чем мы начнем. Например, если мы уже знакомы с концепциями в главах со 2 по 5, то мы можем непосредственно начать, например, возиться с игрушечными моделями в блогах Андрея Карпати. Читая журналы, стоит поискать исходный выпуск моделей, которые мы можем попробовать. Иногда ссылка, если она присутствует в статье, может быть устаревшей ссылкой. Нам просто нужно выполнить поиск в Google с помощью запроса, содержащего «Github » - и в некоторых случаях мы можем найти код модели.

Все ссылки ниже имеют свободный доступ (может потребоваться регистрация / регистрация).

книги

Глубокое обучение, Йошуа Бенжио и другие

Онлайн курсы

Машинное обучение - Стэнфордский университет | Coursera

Ролики

Курсы AI на канале Youtube

Блоги / Ответы здесь на Quora

Что такое машинное обучение с точки зрения непрофессионала? Блог Криса Олаха Блог Андрея Карпати Машинное обучение с точки зрения программиста Нейронные сети и глубокое обучение. Руководство хакера по нейронным сетям

Журнальные бумаги

Глубокое обучение - это статья 2015 года, в которой представлен хороший обзор архива электронного обучения arXiv.org - когда нам нужно искать модели, решающие конкретные проблемы - этот сайт был бы очень полезен

Модели Github / Browser

Глубокое обучение в вашем браузере - это отличное место для начала взаимодействия с игрушечными моделями и изменения кода прямо в браузере urwithajit9 / HG_NeuralNetwork

Ленты для подписки

Дикая неделя в информационном бюллетене AI Блог Google Research Искусственный интеллект (Quora) Искусственные нейронные сети (Quora) Машинное обучение, (Quora)

Конференции / Летние школы

ICLR - подобные конференции помогают отслеживать последние достижения в области Deep Learning Summer School, Montreal 2016) Зона залива в прошлом году (2016).

ответил(а) 2020-03-10T18:57:42+03:00 8 месяцев, 3 недели назад
48

Проверьте, как начать AI / ML / DL с нуля. Удачи!!

ответил(а) 2020-03-10T18:57:42+03:00 8 месяцев, 3 недели назад
34

По моему опыту, Coursera Machine Learning от Andrew NG - лучший курс для начала обучения машинному обучению. После этого вы можете начать специализацию по глубокому обучению на дому - deeplearning.ai на самой Coursera.

Он предоставляет подробные знания, связанные с курсом. Он состоит из 5 модулей. Нейронные сети и глубокое обучение является первым.

Я недавно закончил это, и это решения для курса Coursera: нейронные сети и глубокое обучение от deeplearning.ai Решения по назначению в Python.

НОТА:
Используйте эти решения только для справки.
Вы должны честно решить задачу самостоятельно, тогда только это имеет смысл.
Но если вы застряли между ними, вы можете сослаться на мои решения, приведенные ниже.

Не просто скопируйте и вставьте код для завершения.
Даже если вы копируете код, сначала убедитесь, что вы понимаете его.

Я пытался предоставить оптимизированные решения:

Логистическая регрессия с мышлением нейронной сети:
Coursera: нейронные сети и глубокое обучение (2-я неделя) [Назначение решения] - deeplearning.ai Планарная классификация данных с одним скрытым слоем:
Coursera: нейронные сети и глубокое обучение (3-я неделя) [решение по назначению] - deeplearning.ai Создание вашей глубокой нейронной сети: шаг за шагом:
Coursera: нейронные сети и глубокое обучение (неделя 4А) [решение для назначения] - deeplearning.ai глубокая нейронная сеть для классификации изображений: приложение:
Coursera: нейронные сети и глубокое обучение (неделя 4B) [решение для задания] - deeplearning.ai

Спасибо,
- Акшай П Дага

ответил(а) 2020-03-10T18:57:42+03:00 8 месяцев, 3 недели назад
34

Глубокое обучение - это подмножество машинного обучения, связанное с алгоритмами, вдохновленными структурой и функциями мозга, называемыми искусственными нейронными сетями.

Чтобы узнать о сфере глубокого обучения

кликните сюда

Узнав о глубоком обучении

Если вы ищете, где изучать глубокое обучение, вы можете предпочесть в основном два ресурса: первый - онлайн-обучение, а второй - оффлайн-обучение.

Из этих двух, которые я предпочитаю, вы должны пойти на обучение в автономном режиме, а не онлайн-курс. Потому что в классных классах мы схватываем вещи легче и проще. Если в нашем разуме возникают какие-то сомнения, мы можем очистить это только тогда и там.

ответил(а) 2020-03-10T18:57:42+03:00 8 месяцев, 3 недели назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема