A IA pode prever preços de cripto? Como testar a afirmação

Para previsões de preços ou retornos, as medidas de erro comuns incluem o erro médio absoluto e a raiz do erro quadrático médio. O primeiro faz a média do tamanho do erro. O segundo dá mais peso aos erros grandes. Erros percentuais exigem cuidado perto de zero e ao comparar ativos com volatilidade muito diferente.

Para previsões de alta ou baixa, a acurácia pode ser enganosa se uma classe dominar. Precisão, revocação, acurácia balanceada e uma matriz de confusão mostram quais tipos de previsões o modelo acerta. Um teste de estratégia também precisa de preços executáveis, taxas, spread e regras de posição. O papel da liquidez de mercado ajuda a explicar por que uma previsão teórica pode ser difícil de negociar ao preço cotado.

Previsões de probabilidade precisam de calibração. Se um modelo atribui 70% de probabilidade a muitos eventos comparáveis, aproximadamente 70% devem ocorrer em uma grande amostra se as estimativas estiverem calibradas. Uma probabilidade pode ser calibrada sem ser útil, e útil sem ser perfeitamente calibrada, portanto, compare-a com uma linha de base e uma regra de pontuação como o score de Brier, que mede a precisão das probabilidades declaradas.

Relate uma distribuição, não apenas uma média. Mostre o erro mediano e a cauda de grandes perdas ao lado da média. Em seguida, decomponha os resultados por ano, períodos de bull e bear, ativos líquidos e escassos, e horizonte de previsão para revelar falhas ocultas pelo total.