Zita Marinho é investigadora na Google DeepMind, onde atualmente trabalha em Reinforcement Learning (“aprendizagem por reforço”, uma área de Machine Learning). Possui um duplo doutoramento em Robótica pelo Instituto de Robótica da Carnegie Mellon University e do Instituto Superior Tecnico em 2018. Os seus interesses de investigação estão na interseção entre algoritmos de aprendizagem automática e Processamento de Linguagem Natural. 

-> Apoie este podcast e faça parte da comunidade de mecenas do 45 Graus em: 45grauspodcast.com

-> Workshops de Pensamento Crítico.

_______________

Índice:

(0:00) Introdução

(6:40) Algoritmos de redes neuronais |  Nobel da Física 2024 | Importância de ter várias camadas |  Vanishing and exploding gradients

(20:27) Como aprendem os modelos?  Gradient descent e backpropagation | Redes recorrentes |  Nobel e os modelos de Ising

(28:24) A revolução dos Transformers, tipo ChatGPT. Paper Attention is All You Need

(36:55) O que fez o ChatGPT de inovador? | Comparação com o cérebro humano | ChatGPT va outros modelos LLM actuais (e.g. Gemini, Claude)

(44:58) Dicas de prompting

(50:16) Forcas e fraquezas dos modelos actuais. | Propriedades emergentes misteriosas  Relatório da BCG | Riscos de alucinação 

(55:17) Futuro | reasoners (OpenAI's o1 Model) | Dicas de prompting | Limitações de dados |  Alphaproof medalha de prata nas Olimpíadas da Matemática | robótica | redes convolucionais | Dos modelos GPT ao chatbot

(1:11:13) Artigo “The bitter lesson”, de Rich Sutton | Deep Blue

Livros recomendados:  The Learning Brain, Thad A. Polk,  A Brief History of Mathematical Thought, de Luke Heaton,  A Brief History of Intelligence, de Max Bennett, Language Models: A Guide for the Perplexed

_______________

Esta conversa foi editada por: Hugo Oliveira

Zita Marinho é investigadora na Google DeepMind, onde atualmente trabalha em Reinforcement Learning (“aprendizagem por reforço”, uma área de Machine Learning). Possui um duplo doutoramento em Robótica pelo Instituto de Robótica da Carnegie Mellon University e do Instituto Superior Tecnico em 2018. Os seus interesses de investigação estão na interseção entre algoritmos de aprendizagem automática e Processamento de Linguagem Natural.  -&gt; Apoie este podcast e faça parte da comunidade de mecenas do 45 Graus em: <a href="http://45graus.parafuso.net/apoiar">45grauspodcast.com</a> -&gt; <a href="https://josemariapimentel.pt/pensamento-critico/">Workshops de Pensamento Crítico</a>. _______________ Índice: (0:00) Introdução (6:40) Algoritmos de redes neuronais | <a href="https://tecnico.ulisboa.pt/pt/noticias/nobel-da-fisica-2024-um-comentario-do-tecnico/"> Nobel da Física 2024</a> | Importância de ter várias camadas | <a href="https://www.analyticsvidhya.com/blog/2021/06/the-challenge-of-vanishing-exploding-gradients-in-deep-neural-networks/"> Vanishing and exploding gradients</a> (20:27) Como aprendem os modelos? <a href="https://towardsdatascience.com/an-introduction-to-gradient-descent-and-backpropagation-81648bdb19b2"> Gradient descent e backpropagation</a> | <a href="https://en.wikipedia.org/wiki/Recurrent_neural_network">Redes recorrentes</a> | <a href="https://theconversation.com/how-a-subfield-of-physics-led-to-breakthroughs-in-ai-and-from-there-to-this-years-nobel-prize-240871"> Nobel e os modelos de Ising</a> (28:24) A revolução dos <a href="https://blogs.nvidia.com/blog/what-is-a-transformer-model/">Transformers</a>, tipo ChatGPT. <a href="https://en.wikipedia.org/wiki/Attention_Is_All_You_Need">Paper Attention is All You Need</a> (36:55) O que fez o ChatGPT de inovador? | Comparação com o cérebro humano | ChatGPT va outros modelos LLM actuais (e.g. Gemini, Claude) (44:58) Dicas de prompting (50:16) Forcas e fraquezas dos modelos actuais. | Propriedades emergentes misteriosas <a href="https://www.bcg.com/publications/2023/how-people-create-and-destroy-value-with-gen-ai"> Relatório da BCG</a> | Riscos de alucinação  (55:17) Futuro | reasoners (<a href="https://codefinity.com/blog/Introducing-OpenAI-o1-preview%3A-The-Future-of-AI-Reasoning">OpenAI's o1 Model</a>) | Dicas de prompting | Limitações de dados | <a href="https://deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level/"> Alphaproof medalha de prata nas Olimpíadas da Matemática</a> | robótica | <a href="https://pt.wikipedia.org/wiki/Rede_neural_convolucional">redes convolucionais</a> | Dos modelos GPT ao chatbot (1:11:13) Artigo <a href="http://www.incompleteideas.net/IncIdeas/BitterLesson.html">“The bitter lesson”, de Rich Sutton</a> | <a href="https://pt.wikipedia.org/wiki/Deep_Blue">Deep Blue</a> Livros recomendados: <a href="https://www.amazon.com/The-Learning-Brain-audiobook/dp/B07CZ18VZZ"> The Learning Brain, Thad A. Polk</a>, <a href="https://www.amazon.com/Brief-History-Mathematical-Thought/dp/0190621761"> A Brief History of Mathematical Thought, de Luke Heaton</a>, <a href="https://www.amazon.com/Brief-History-Intelligence-Humans-Breakthroughs/dp/0063286343"> A Brief History of Intelligence, de Max Bennett</a>, <a href="https://arxiv.org/pdf/2311.17301">Language Models: A Guide for the Perplexed</a> _______________ Esta conversa foi editada por: Hugo Oliveira

O 45 Graus é um podcast para saber mais e pensar criticamente. José Maria Pimentel - economista, professor universitário e curioso por natureza - conversa sobre os grandes temas (e não só) com especialistas e pessoas cujas ideias vale a pena ouvir.

São conversas sem pressa, às vezes profundas, mas sempre descontraídas. Novos episódios a cada duas semanas, sempre à quarta-feira.

O 45 Graus &eacute; um podcast para saber mais e pensar criticamente. Jos&eacute; Maria Pimentel - economista, professor universit&aacute;rio e curioso por natureza - conversa sobre os grandes temas (e n&atilde;o s&oacute;) com especialistas e pessoas cujas ideias vale a pena ouvir.
S&atilde;o conversas sem pressa, &agrave;s vezes profundas, mas sempre descontra&iacute;das. Novos epis&oacute;dios a cada duas semanas, sempre &agrave; quarta-feira.

José Maria Pimentel conversa com especialistas de diferentes áreas ou pessoas cujas ideias vale mesmo a pena ouvir

45 Graus

O 45 Graus é um podcast para saber mais e pensar criticamente. José Maria Pimentel - economista, professor universitário e curioso por natureza - conversa sobre os grandes temas (e não só) com especialistas e pessoas cujas ideias vale a pena ouvir. São conversas sem pressa, às vezes profundas, mas sempre descontraídas. Novos episódios a cada duas semanas, sempre à quarta-feira.

 

O 45 Graus &eacute; um podcast para saber mais e pensar criticamente. Jos&eacute; Maria Pimentel - economista, professor universit&aacute;rio e curioso por natureza - conversa sobre os grandes temas (e n&atilde;o s&oacute;) com especialistas e pessoas cujas ideias vale a pena ouvir. S&atilde;o conversas sem pressa, &agrave;s vezes profundas, mas sempre descontra&iacute;das. Novos epis&oacute;dios a cada duas semanas, sempre &agrave; quarta-feira.
&nbsp;

Zita Marinho é investigadora na Google DeepMind, onde atualmente trabalha em Reinforcement Learning (“aprendizagem por reforço”, uma área de Machine Learning). Possui um duplo doutoramento em Robótica pelo Instituto de Robótica da Carnegie...

Advertisement