Aprendizado por Reforço com Python - Parte 1

Inteligência Artificial (IA), Aprendizado de Máquina, Aprendizado por Reforço (RL) - Teoria e Aplicações em Python

Avaliação: 4.9 de 521 avaliações

Total de horas: 9

Total de palestras: 90

A Inteligência Artificial (IA), Aprendizado de Máquina e Aprendizado por Reforço (RL) estão se tornando cada vez mais importantes em várias indústrias. Neste curso, vamos apresentar os fundamentos do Aprendizado por Reforço usando a linguagem de programação Python e bibliotecas especializadas como o Numpy para processamento de dados. O Aprendizado por Reforço é atualmente considerado a maneira mais eficaz de aproveitar a criatividade das máquinas. Ao contrário dos humanos, a inteligência artificial pode realizar milhares de tentativas simultaneamente, executando o mesmo algoritmo em paralelo em uma infraestrutura de computação poderosa. Nós projetamos cuidadosamente este curso para fornecer explicações claras e numerosos exemplos para ajudá-lo a entender como os algoritmos são construídos e implementados em Python. O curso está estruturado da seguinte forma:

Esboço do Curso:

1. Introdução ao Problema do Aprendizado por Reforço

2. Abordagem das Equações de Bellman

3. Projeto de Aplicação do Mundo Real

4. Métodos de Otimização baseados em Programação Dinâmica

5. Métodos de Monte Carlo

6. Métodos de Diferença Temporal (TD) - Sarsa e Q-learning

7. Métodos de Diferença Temporal (TD) de n-etapas

Ao longo do curso, você adquirirá um profundo entendimento dos conceitos e técnicas utilizadas no aprendizado por reforço. Conhecimento prévio de Python é benéfico, e uma compreensão básica de matemática, especialmente no campo das probabilidades, também é vantajosa para entender os aspectos teóricos dos algoritmos. O curso inclui atividades práticas em Python, e todos os recursos necessários serão fornecidos.

Tópicos Abordados:

1. Introdução ao Problema do Aprendizado por Reforço

O Aprendizado por Reforço é um método específico de Aprendizado de Máquina que treina modelos de inteligência artificial para alcançar metas específicas em ambientes incertos e potencialmente complexos. O agente de IA aprende tentando diferentes ações e aprendendo com seus erros. Ele recebe recompensas ou punições com base em suas ações e é programado para maximizar suas recompensas encontrando o método mais eficaz. O programador define as condições de recompensa, mas nenhuma instrução ou dica é dada ao agente de IA sobre como realizar a tarefa. Cabe ao agente descobrir como maximizar suas recompensas, começando de tentativas aleatórias e progredindo para táticas sofisticadas. Modelar o ambiente em que o agente opera é crucial, e isso é feito usando Processos de Decisão de Markov (MDP). Uma parte significativa do curso é dedicada ao estudo desses processos.

2. Abordagem das Equações de Bellman

A maioria dos algoritmos de aprendizado por reforço é baseada na estimativa de funções de valor, que estimam a desejabilidade de estar em um estado específico ou realizar uma ação específica em um determinado estado. As equações de Bellman são usadas para calcular essas funções de valor e formam a base para os algoritmos que buscam encontrar seus valores ótimos para construir estratégias ótimas.

3. Projeto de Aplicação do Mundo Real

Os conceitos introduzidos nas seções anteriores são essenciais para esta parte do curso. Para entender e enfrentar melhor os desafios que eles apresentam, você os aplicará a um projeto do mundo real. O projeto envolve guiar uma pessoa cega em uma loja para encontrar um item específico. O objetivo do algoritmo de aprendizado por reforço será encontrar uma trajetória ótima, e você verá como as equações de Bellman podem ajudar a resolver esse problema.

4. Métodos de Otimização baseados em Programação Dinâmica

A programação dinâmica é um método que permite um design de algoritmo mais otimizado em comparação com métodos sequenciais. É usado para resolver as equações de otimalidade de Bellman necessárias para encontrar soluções para problemas de otimização de estratégia. Vários exemplos serão abordados neste módulo para familiarizá-lo com a programação dinâmica antes de aplicá-la para resolver as equações de Bellman.

5. Métodos de Monte Carlo

Os métodos de Monte Carlo fornecem mais flexibilidade e soluções para problemas que não podem ser resolvidos usando métodos de programação dinâmica. Ao longo deste módulo, aplicaremos esses métodos para encontrar estratégias de jogo ótimas no Blackjack, um jogo de cartas conhecido por sua aleatoriedade e imprevisibilidade.

6. Métodos de Diferença Temporal (TD) - Sarsa e Q-learning

Em certas situações, os métodos discutidos anteriormente podem não fornecer soluções para nossos problemas. Esse é o caso, por exemplo, quando o agente opera em um ambiente em que ele pode nunca terminar um jogo ou quando os jogos nunca terminam. Vários algoritmos conhecidos, como Sarsa e Q-learning, são derivados de métodos de diferença temporal. Q-learning e Sarsa são semelhantes, mas Sarsa é um método on-policy, enquanto Q-learning é um método off-policy. Isso significa que o Q-learning pode comparar recompensas prováveis sem conhecimento prévio do ambiente. Em outras palavras, embora o sistema seja modelado por um processo de decisão de Markov, o agente de aprendizado não tem conhecimento disso, e o algoritmo de Q-learning não o utiliza. Exploraremos como essa pequena diferença entre Sarsa e Q-learning torna o Q-learning mais eficiente, mas o Sarsa mais seguro.

7. Métodos de Diferença Temporal (TD) de n-etapas

Os métodos de Monte Carlo e de diferença temporal são duas abordagens diametralmente opostas, cada uma com suas próprias vantagens e desvantagens. Os métodos de n-etapas visam combinar essas duas abordagens para resolver problemas e unificar seus benefícios. Ao final deste curso, você terá uma compreensão abrangente dos princípios do aprendizado por reforço, várias abordagens para resolver problemas de aprendizado por reforço e como implementar os algoritmos em Python usando numerosos exemplos.