(OBSERVAÇÃO: Este artigo é parte de uma série contínua que documenta um experimento com usando IA para preencher os colchetes da NCAA e veja como isso se compara a anos de experiência humana. O artigo original é o seguinte.)
Esta é a última entrada da minha série sobre como usar IA para ajudar a jogar nas piscinas do March Madness. Como a maioria das histórias, eu esperava que esta tivesse um final feliz. Infelizmente, minha experiência usando ChatGPT para ajudar a preencher minhas chaves de torneio da NCAA é melhor resumida como perto, mas sem charuto.
Mesmo assim, eu ainda consideraria o experimento um sucesso.
Isso pode parecer estranho vindo de alguém que não ganhou. Mas uma das maiores lições deste exercício é que A IA melhorou meu processo mais do que melhorou a certeza. Em outras palavras, ajudou-me a pensar melhor, mesmo que não conseguisse eliminar a loucura.
Na semana passada, fiquei emocionado por ter conseguido 13 das equipes Sweet 16 certas. Minhas chaves estavam perto do topo da classificação e eu estava começando a pensar que poderia realmente conseguir isso. Então chegou o caos clássico de março.
Em um grupo com 65 chaves, ainda estou perto do topo – empatado em segundo em uma chave e em sexto em outra – o que dificilmente é um desastre. Eu tinha Arizona e Michigan avançando corretamente de um lado da chave, mas errei completamente do outro. Eu havia projetado que Duke e Flórida se encontrariam nas semifinais, com Duke vencendo tudo. Houve uma certa justiça cármica em Duke, que acabou recebendo uma Ave Maria no estilo Laettner, mas também acabou com minhas chances de vitória.
Ainda assim, indo para a Elite Oito, minhas chaves estavam na 98º percentil de 26 milhões de entradas na ESPN. Sinceramente, não posso dizer que estaria lá sem a ajuda da IA. E o mais importante, saí com um conjunto de lições que usarei no próximo ano – porque sim, estou fazendo isso de novo.
Melhor processo, mesma loucura
A conclusão central é simples.
A IA não produziu um milagre, mas produziu um processo melhor.
Em vez de preencher uma chave com base em uma vaga intuição, destaques recentes ou qualquer time que parecesse imbatível em uma tarde de sábado, eu tinha uma maneira mais estruturada de pensar sobre o campo. A IA me ajudou a organizar a decisão, comparar resultados prováveis com escolhas contrárias de maior vantagem e revelar algumas das variáveis que mais importam em jogos de torneio.
Essa estrutura funcionou. Ele identificou corretamente muitas das equipes mais fortes. Isso me impediu de cometer alguns dos erros habituais de preguiça. Isso me empurrou para uma categoria mais disciplinada e menos emocional.
O que não fez foi revogar as leis do basquete de eliminação única.
Essa é uma distinção importante e que se aplica muito além dos esportes. A IA pode melhorar o julgamento. Não pode remover a volatilidade.
Dê mais peso ao impulso do final da temporada
Uma das lições mais claras deste torneio é que não dei crédito suficiente às equipes que estavam esquentando no momento certo.
De onde vieram Illinois e Iowa?
Sim, ambas eram boas equipas naquela que foi claramente a conferência mais forte do país este ano. Mas eu não os vi tirando a posição número 1 na Flórida e a posição número 2 em Houston. Eles estavam atingindo o pico tarde e eu não pesava tanto o suficiente.
No próximo ano, prestarei mais atenção em quem está realmente jogando seu melhor basquete em março, em vez de me basear demais nas métricas da temporada inteira. Um currículo para toda a temporada ainda é importante, é claro. Mas num torneio como este, a forma pode ser tão importante quanto a qualidade subjacente.
Em termos empresariais, é a diferença entre avaliar uma empresa com base em resultados de doze meses e reconhecer que algo significativo mudou nas últimas seis semanas.
Coloque mais peso nos treinadores, não apenas nos jogadores
Também saí convencido de que estava com peso insuficiente no coaching.
Sim, os jogadores são os que estão na quadra. Mas os treinadores são muito importantes em março, especialmente num formato único, onde a preparação, os ajustes, as substituições e a compostura podem influenciar uma temporada inteira.
Dan Hurley lembrou a todos, mais uma vez, porque ele é uma força neste ambiente. John Scheyer? Nem tanto.
No próximo ano, passarei mais tempo analisando quais treinadores demonstraram consistentemente que podem navegar no caos dos torneios de basquete. O talento ainda é a base. Mas o coaching costuma ser o multiplicador de força.
Aceite os limites da previsão
Esta pode ser a maior lição de todas.
A previsão – mesmo quando auxiliada pela IA – é boa para identificar padrões amplos. É muito menos confiável quando se trata de prever exatamente o que uma determinada pessoa, ou uma determinada equipe, fará em um dia específico.
Um time de basquete universitário tem apenas cinco adolescentes jogando ao mesmo tempo. Adolescentes muito talentosos, sim, mas ainda adolescentes. E quem já passou algum tempo com jovens sabe que eles têm altos e baixos, mudanças de humor, dias ótimos, dias ruins e momentos em que tudo de repente dá errado. Às vezes, essas oscilações acontecem no meio de um torneio.
Se esses confrontos fossem em séries melhor de cinco ou melhor de sete, haveria menos surpresas. Mas em um ambiente pronto, é muito mais fácil para a Cinderela dar a última dança.
Isso não é uma falha da IA. É apenas um lembrete de que alguns ambientes são inerentemente barulhentos. O torneio foi projetado para transformar pequenas vantagens em resultados dramáticos. É por isso que assistimos.
No mundo real, a IA costuma ser mais útil do que em um conjunto de colchetes
Os pools de colchetes são um teste particularmente implacável.
Aqui, eu tinha que estar certo sobre se Connecticut venceria Duke. Não houve crédito parcial por identificar ambas como equipes excelentes. Era puramente binário: ganhar ou perder, certo ou errado.
No mundo real, muitas das decisões em que utilizo IA não funcionam assim.
Anos atrás, um de meus professores disse que quanto mais difícil é uma escolha, menos a decisão importa. Há muita sabedoria nisso. Se eu lhe pedir para escolher entre um antigo Yugo e um Porsche Macan, você decidirá instantaneamente. E se você de alguma forma escolher o Yugo, você se arrependerá pelo resto da vida. Mas se eu lhe pedir para escolher entre um Porsche Macan e um BMW X3, de repente você terá uma decisão real. Você pode comparar confiabilidade, conforto, especificações e desempenho. Mas é provável que você ainda acabe com um carro excelente.
É assim que a IA é útil em muitos ambientes do mundo real. Pode nem sempre identificar a melhor opção em retrospectiva, mas muitas vezes pode restringir o campo a várias opções muito fortes. Isso ainda é extremamente valioso.
O mesmo se aplica a investimentos, planejamento e pesquisa. A IA pode ajudar a identificar caminhos promissores, resultados prováveis e opções sensatas. Será sempre escolhido o vencedor de todos os tempos? Claro que não. Mas pode mantê-lo longe de erros óbvios e ajudá-lo a fazer uma escolha mais informada.
Sugestões, não decisões
Essa, para mim, é a maneira mais saudável de pensar sobre IA.
Recentemente, visitamos Lima, no Peru, e usei extensivamente o ChatGPT para ajudar a decidir o que ver e onde comer. Os lugares que visitamos foram as dez melhores opções da cidade? Eu não faço ideia. Mas ficamos felizes com a viagem? Absolutamente. Tenho alguma sensação persistente de estar perdendo? Nenhum.
É assim que se parece uma boa assistência de IA.
Ajuda a classificar quantidades esmagadoras de informações e apresenta opções sólidas. A qualidade dessas opções depende muito da qualidade da solicitação. Quanto mais claramente você explicar seus interesses, restrições, orçamento e preferências, melhores serão as sugestões.
Mas ainda são sugestões.
Não estamos nem perto do ponto em que alguém deveria entregar a responsabilidade por sua vida a um modelo de IA. Nem deveríamos querer.
O que farei de diferente no próximo ano
No próximo ano, darei mais peso ao ímpeto do final da temporada, mais peso ao treinamento e mais peso à volatilidade. Confiarei menos nos favoritos vulneráveis e mais alerta nas equipas que parecem perigosas, mesmo que o seu seed diga o contrário.
Tão importante quanto isso, iniciarei o exercício com uma melhor compreensão do que a IA pode e não pode fazer.
Pode melhorar o processo. Isso pode aguçar a análise. Pode ajudar a organizar a incerteza.
O que não pode é fazer com que Março deixe de ser Março.
Vejo você no próximo ano
Então, sim, March Madness reivindicou meu experimento de IA no final.
Mas também provou que valia a pena fazer o experimento.
A IA não forneceu um colchete perfeito. Não eliminou a incerteza. Isso não me tornou um campeão. O que ele fez foi me ajudar a pensar de forma mais sistemática, avaliar o campo de forma mais inteligente e ter um desempenho muito melhor do que eu provavelmente teria apenas com o instinto.
Esse é um resultado significativo.
Portanto, voltarei no próximo ano – com uma estrutura um pouco melhor, um pouco mais de humildade e o mesmo respeito pelo fato de que nenhum modelo, por mais sofisticado que seja, dá a palavra final em março.
Se você acompanhou esta série ao longo do caminho, obrigado pela leitura. E se você me vencer na sua piscina sem qualquer ajuda da IA, aproveite a volta da vitória enquanto pode.
No próximo ano, a máquina e eu iremos em busca de vingança.
Source link
