SHAP (SHapley Additive exPlanations)

SHAP (SHapley Additive exPlanations, ou explicações aditivas de Shapley) é um método que explica a previsão de um modelo de aprendizado de máquina mostrando quanto cada variável de entrada contribuiu para aquele resultado. A base é o valor de Shapley, conceito da teoria dos jogos cooperativos que reparte o ganho de uma partida entre os jogadores conforme a contribuição de cada um. No SHAP, os jogadores são as variáveis do modelo.

De onde vem o nome

A sigla junta as letras maiúsculas de três palavras em inglês: SH de Shapley, A de Additive (aditivo) e P de exPlanations (explicações). Lloyd Shapley, matemático e economista americano, propôs em 1952 uma forma de dividir o resultado de um jogo cooperativo entre os participantes. Cada jogador recebe a média do que acrescenta ao grupo, considerando todas as ordens possíveis em que os jogadores poderiam entrar no jogo. O trabalho saiu primeiro como texto da RAND Corporation e, em 1953, num livro da Universidade de Princeton. Shapley recebeu o Nobel de Economia em 2012, dividido com Alvin Roth.

Aditivo quer dizer que as contribuições se somam. Partindo de um valor de base, que é a previsão média do modelo, a soma das contribuições de todas as variáveis chega exatamente à previsão feita naquele caso. Num exemplo hipotético, se a reserva média recomendada é de 1.000 MW e o modelo recomenda 1.200 MW para certa hora, os 200 MW de diferença ficam repartidos entre as variáveis, umas puxando o número para cima e outras para baixo.

O método foi apresentado em 2017 por Scott Lundberg e Su-In Lee, da Universidade de Washington, no artigo A Unified Approach to Interpreting Model Predictions, na conferência NIPS, hoje NeurIPS. Os autores mostraram que seis métodos de explicação já conhecidos pertenciam a uma mesma família e que, nessa família, só uma solução reúne as propriedades desejáveis: a que vem dos valores de Shapley.

Como o tema aparece no Regulador.org

No artigo sobre IA no controle de sistemas elétricos, o SHAP aparece no projeto do operador do sistema britânico, a NESO, que usou aprendizado de máquina para estimar a reserva de que o sistema precisa. Junto com cada recomendação, o engenheiro da sala de controle via quanto dela se devia à previsão de vento, à geração solar e aos demais fatores. O sistema não substituía o operador. Entregava informação mais sofisticada para a decisão em tempo real.

O artigo trata a IA como componente de uma arquitetura maior, com limites, validação, observabilidade e supervisão. O SHAP é um exemplo concreto dessa observabilidade, porque permite ao engenheiro questionar o número em vez de recebê-lo pronto. A mesma ideia está na orientação da Ofgem sobre uso ético de IA no setor de energia, que pede explicabilidade proporcional ao risco de cada aplicação.

Referências

• LUNDBERG, Scott M.; LEE, Su-In. A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems 30 (NIPS 2017). Disponível em: https://arxiv.org/abs/1705.07874.
• SHAPLEY, Lloyd S. A Value for n-Person Games. Santa Monica: RAND Corporation, 1952 (P-295). Publicado em: KUHN, H. W.; TUCKER, A. W. (org.). Contributions to the Theory of Games II. Princeton: Princeton University Press, 1953. Disponível em: https://www.rand.org/pubs/papers/P295.html.
• NOBEL PRIZE OUTREACH. Lloyd S. Shapley, Prize in Economic Sciences 2012. Disponível em: https://www.nobelprize.org/prizes/economic-sciences/2012/shapley/facts/.
• NATIONAL ENERGY SYSTEM OPERATOR (NESO). Probabilistic Machine Learning Solution for Dynamic Reserve Setting. Disponível em: https://www.neso.energy/about/innovation/our-innovation-projects/probabilistic-machine-learning-solution-dynamic-reserve-setting.