MIT 딥 러닝 입문

MIT의 공식 모토는 마음과 손 — 마음과 손 — 우리도 이 철학을 크게 믿는 것은 우연이 아닙니다. MIT의 딥 러닝 입문의 주최자이자 강사로서 우리는 두 가지 모두에 초점을 맞춘 과정을 개발하고 싶었습니다. 개념적 기초 그리고 실용적인 기술 딥 러닝 알고리즘을 이해하고 구현하는 데 필요합니다. 다양한 기술 배경에 액세스할 수 있도록 설계된 9개의 기술 강의 시리즈와 3개의 TensorFlow 소프트웨어 랩, 모두에게 무료로 공개된 내용을 지금 여기 여러분과 공유하게 되어 매우 기쁩니다.

남성: 기술 강의 . 퍼셉트론, 완전 연결 네트워크, 역전파 알고리즘 등 신경망의 가장 기본적인 것부터 시작합니다. 반복 및 컨볼루션 신경망, 생성 모델 및 심층 강화 학습을 통한 여정 업계 최고의 연구원들이 진행하는 일련의 초청 강연으로 마무리되는 현대 딥 러닝 연구의 확장된 영역을 탐구합니다. 모든 강의는 무료이며 모든 사람에게 공개되며 아래 썸네일에 링크가 있습니다.

Manus: TensorFlow 소프트웨어 연구실 . 우리는 세 가지 오픈 소스를 설계했습니다. 인터렉티브 TensorFlow 소프트웨어 랩 의 기본을 다루는 텐서플로우 , 음악 생성, 컴퓨터 비전, 편향성 얼굴 인식 시스템 및 심층 강화 학습을 위한 순환 신경망 모델. 실험실은 Google의 멋진 협업 환경 (시작하는 데 필요한 것은 Google 계정뿐입니다!) 완료해야 할 ***TODO*** 코드 블록을 포함하세요. TensorFlow를 사용하여 딥 러닝 모델을 정의하고 훈련하는 방법을 안내합니다. 하드 API 그리고 새로운 명령형 실행 스타일.

이 블로그에서는 이 세 가지 소프트웨어 랩 각각과 그에 수반되는 강의를 중점적으로 다룹니다.

실습 1: TensorFlow 및 음악 생성 소개

가능한 한 많은 사람들이 접근할 수 있는 과정과 연구실을 설계하는 것이 우리의 최우선 과제였습니다. 그래서, 읽기 1 신경망 기본 사항에 중점을 두고 있으며 첫 번째 모듈은 연구실 1 TensorFlow에 대한 깔끔한 소개를 제공하며 다음 릴리스를 준비하기 위해 작성되었습니다. 텐서플로우 2.0 .

TensorFlow에 대한 소개 연습은 특히 몇 가지 핵심 개념을 강조합니다. 계산을 실행 수학 연산자를 사용하는 방법 신경망 정의 모델 및 사용 방법 자동 미분 역전파로 네트워크를 훈련시킵니다.

TensorFlow 소개 모듈에 이어 Lab 1의 두 번째 모듈에서는 음악 생성을 위한 순환 신경망(RNN) , 동반하도록 설계된 독서 2 딥 시퀀스 모델링에 대해 지금까지 들어본 적 없는 새로운 아일랜드 민속 음악을 생성할 수 있는 AI 알고리즘을 구축하게 됩니다. 왜 아일랜드 민속 음악이냐고 물을 수 있습니다. 글쎄, 우리는이 귀여운 춤추는 클로버 (Google 제공)로 충분하다고 생각합니다.

RNN 모델을 정의하기 위해 코드 블록을 채우고 아일랜드 민요 데이터 세트를 사용하여 모델을 훈련합니다( ABC 표기법 ), 학습된 모델을 사용하여 새 노래를 생성한 다음 생성된 것을 재생하여 모델이 얼마나 잘 수행되는지 들어보세요. 우리가 생성한 이 예시 노래를 확인하세요:

랩 2: 컴퓨터 비전: 안면 감지 시스템 편향성 제거

연구실 2 에 대한 강의를 동반한다. 깊은 컴퓨터 비전 그리고 심층 생성 모델 . 1부에서는 유명한 MNIST 데이터 세트에서 필기 숫자 분류를 위한 CNN(컨볼루션 신경망)의 예를 통해 기본적인 신경망 아키텍처 구현에 대한 지속적인 연습을 제공합니다.

이 실습의 두 번째 부분에서는 한 단계 더 나아가 응용 딥 러닝의 두 가지 두드러진 예인 얼굴 감지 및 알고리즘 편향을 살펴봅니다. 신경망이 이미지에서 얼굴을 인식하는 데 정말 잘 작동한다는 것은 놀라운 일이 아니지만, 많은 관심 최근에 이 AI 중 일부가 숨겨진 알고리즘 편향으로 인해 고통을 받는 방법에 대해 설명합니다. 실제로, 그것은 딥러닝 그 자체 이러한 편견과 싸우는 데 도움이 될 수 있습니다.

rvn을 구입하는 방법

최근 작업에서 , 우리는 얼굴 감지와 같은 특정 작업과 기본 구조 훈련 데이터의. 차례로 알고리즘은 이 학습된 잠재 구조를 사용하여 발견하고 최소화 숨겨진 편견. 얼굴 감지 작업에 적용하면 알고리즘 범주 편향 감소 최신 모델에 비해 높은 전체 정확도를 유지했습니다.

이 소프트웨어 랩은 다음 작업에서 영감을 받았습니다. 실제로 이 편향성 제거 모델을 구축하고 안면 감지 작업의 편향성 제거 효과를 평가할 것입니다. .

알고리즘 편향 문제와 이를 해결하는 방법에 대해 생각하는 것 외에도 다음에서 실용적인 노출을 얻을 수 있습니다. VAE 작업 , 딥 러닝 구현 튜토리얼에서 종종 강조되지 않는 아키텍처입니다. 예를 들어, 편향 제거 모델에 사용된 VAE에 대한 손실 함수를 정의하는 다음 코드 블록을 작성합니다.

def debiasing_loss_func(x, x_pred, y_label, y_logit, z_mu, z_logsigma, kl_weight=0.005): # compute loss components reconstruction_loss = tf.reduce_mean(tf.keras.losses.MSE(x,x_pred), axis=(1,2)) classification_loss = tf.nn.sigmoid_cross_entropy_with_logits(labels=y_label, logits=y_logit) kl_loss = 0.5 * tf.reduce_sum(tf.exp(z_logsigma) + tf.square(z_mu) - 1.0 - z_logsigma, axis=1) # propogate debiasing gradients only on relevant datapoints gradient_mask = tf.cast(tf.equal(y_label, 1), tf.float32) # define the total debiasing loss as a combination of the three losses vae_loss = kl_weight * kl_loss + reconstruction_loss total_loss = tf.reduce_mean(classification_loss + gradient_mask * vae_loss) return total_loss

debiasing_loss.py

중요한 것은, 이 접근법 적용할 수 있다 얼굴 인식을 넘어 어떤 설정에도 데이터 내에 존재할 수 있는 불균형에 대해 편향을 없애고 싶을 수 있습니다.

더 자세히 알고 싶다면 다음 문서를 확인하십시오. Amini, Soleimany, et al., Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure. 인공 지능, 윤리 및 사회에 대한 AAAI/ACM 회의 , 2019.

실습 3: 모델 없는 강화 학습

에서 최종 연구실 , 학생들은 이전 두 실습에서 학습 문제의 다른 클래스를 탐구합니다. 에 읽기 5 학생들은 심층 강화 학습의 기본 기술에 노출됩니다.

지도 학습 및 비지도 학습에 중점을 둔 이전 랩과 비교하여 강화 학습은 에이전트가 자신의 보상을 최대화하기 위해 세상에서 행동하는 방법을 가르치는 것을 추구합니다. Tensorflow의 명령형 실행은 학생들이 Lab 3에서 처음부터 프로그래밍하는 RL에 대한 간소화된 방법을 제공합니다.

우리는 제어(예: Cart-Pole)와 게임(예: Pong)에서 두 가지 작업을 배우는 데 중점을 둡니다. 학생들은 모듈식 RL 프레임워크를 구축하여 단일 RL 브레인만 사용하여 이 두 가지 매우 다른 환경을 학습하는 과제를 받았습니다.

이러한 기본 환경을 처리하는 것은 학생들에게 새로운 알고리즘을 신속하게 프로토타입화하고, RL 교육 절차를 구현하는 방법에 대한 구체적인 이해를 얻고, 최종 프로젝트에서 앞으로 나아가는 템플릿으로 이러한 아이디어를 사용하는 빠른 방법을 학생들에게 제공합니다.

요약

이 MIT 과정을 가능하게 하는 데 지속적으로 지원해 주신 TensorFlow 팀과 놀라운 TA 그룹에 감사드립니다. MIT 6.S191 소프트웨어 랩은 강의에서 소개된 최신 기술과 알고리즘을 구현하여 TensorFlow에 대한 실용적인 경험을 빠르게 얻을 수 있는 좋은 방법을 제공합니다.