Como medir êxito jurídico de forma estatisticamente confiável?

Medir o êxito de uma atuação jurídica parece, à primeira vista, uma tarefa simples. Basta contabilizar quantos processos terminaram de forma favorável e dividir esse número pelo total de processos analisados. O problema é que essa conta, embora matematicamente correta, pode produzir uma conclusão juridicamente frágil. Um percentual de 70% de resultados favoráveis não diz, sozinho, se uma carteira teve bom desempenho, se um escritório foi mais eficiente que outro ou se determinada estratégia aumentou efetivamente as chances de sucesso. Para chegar a essas conclusões, é necessário saber quais processos foram considerados, como seus resultados foram classificados, qual era o contexto de cada demanda, qual foi o período analisado e quais limitações existem nos dados utilizados.

É justamente nesse ponto que a estatística e a jurimetria ganham importância. A análise quantitativa do Direito permite substituir impressões isoladas por evidências construídas a partir de grandes conjuntos de dados, mas isso só acontece quando existe uma metodologia adequada. A Associação Brasileira de Jurimetria, por exemplo, estrutura uma pesquisa jurimétrica em etapas que passam pela definição do problema, listagem dos processos, extração, tratamento e análise dos dados. A própria ABJ ressalta que essas etapas precisam ser precedidas pela definição dos objetivos e da pergunta de pesquisa.

Para departamentos jurídicos, escritórios e organizações que administram grandes carteiras, essa preocupação é ainda mais relevante. Uma taxa de êxito pode influenciar decisões sobre estratégia processual, distribuição de recursos, escolha de escritórios, negociação de acordos, avaliação de risco e definição de prioridades. Por isso, o objetivo não deve ser simplesmente descobrir um percentual de vitórias, mas construir uma medida que seja comparável, interpretável, estatisticamente consistente e adequada à pergunta que se pretende responder.

1. O primeiro desafio é definir o que significa êxito jurídico

Antes de qualquer cálculo, é preciso definir o que será considerado sucesso. Essa etapa parece conceitual, mas tem consequências estatísticas importantes. Um processo pode terminar com procedência integral, procedência parcial, improcedência, acordo, desistência, prescrição, extinção sem resolução do mérito ou outras formas de encerramento. Em alguns casos, uma decisão pode ser favorável em determinado aspecto e desfavorável em outro. Também pode haver alteração significativa do resultado ao longo das instâncias, tornando inadequada uma classificação baseada exclusivamente na primeira decisão observada.

Por isso, classificar todos os processos em apenas duas categorias, “ganhou” e “perdeu”, frequentemente elimina informações importantes. Uma metodologia mais cuidadosa pode trabalhar com categorias como resultado favorável, parcialmente favorável, desfavorável, acordo e resultado não classificável. A escolha dessas categorias deve estar relacionada ao objetivo da pesquisa. Se a intenção é medir o desempenho de uma carteira do ponto de vista estritamente processual, a procedência do pedido pode ser suficiente em determinadas situações. Se a análise pretende avaliar risco empresarial, entretanto, um acordo pode precisar ser analisado de forma independente, considerando o valor originalmente envolvido, o valor efetivamente desembolsado e o tempo necessário para o encerramento.

Essa distinção também impede um erro comum: tratar qualquer encerramento vantajoso para a organização como uma vitória judicial. Um acordo que reduz substancialmente uma exposição financeira pode representar excelente resultado estratégico, mesmo que não exista uma sentença favorável. Da mesma forma, uma sentença formalmente favorável pode ter impacto econômico limitado. O conceito de êxito, portanto, precisa ser definido de acordo com a finalidade da análise.

Uma forma mais madura de avaliar resultados é trabalhar com diferentes dimensões. O êxito jurídico pode representar o resultado processual propriamente dito. O êxito econômico pode considerar quanto foi recuperado ou quanto de exposição financeira foi evitado. O êxito estratégico pode incorporar objetivos específicos da organização, como encerrar determinada controvérsia, evitar um precedente, reduzir tempo de exposição ou preservar uma relação comercial. Essas dimensões não precisam ser transformadas em um único índice. Em muitos casos, é justamente a manutenção de indicadores separados que proporciona uma visão mais fiel do desempenho.

2. Uma taxa de êxito só faz sentido quando sabemos quais processos estão sendo comparados

Depois de definir o resultado, surge uma segunda questão: quais processos devem entrar no cálculo? Esse é um dos pontos mais importantes de qualquer estudo quantitativo aplicado ao Direito.

Imagine uma carteira com 10 mil processos e uma taxa geral de êxito de 75%. Esse número pode parecer bastante positivo, mas ainda não sabemos se os processos pertencem à mesma matéria, se foram julgados pelos mesmos tribunais, se possuem características semelhantes ou se foram distribuídos de maneira uniforme ao longo do tempo. Se 80% da carteira for composta por demandas de baixa complexidade e apenas 20% por litígios empresariais complexos, a taxa agregada poderá esconder diferenças relevantes entre os grupos.

A metodologia da ABJ dedica atenção específica ao planejamento da pesquisa e ao chamado viés de seleção, definido como a diferença entre os indivíduos efetivamente presentes na base utilizada e a população que se deseja estudar. Em pesquisas jurídicas, isso é especialmente importante porque a população observada pode ser resultado de diversos mecanismos de seleção. Os processos que chegam a uma determinada etapa judicial não necessariamente representam todos os conflitos existentes sobre aquele assunto.

Esse problema aparece, por exemplo, quando se tenta avaliar o desempenho de um escritório apenas com base nos processos que chegaram a julgamento. Casos encerrados por acordo antes da sentença ficam fora da análise. Se o escritório possui uma estratégia deliberada de negociação, sua atuação poderá parecer pior ou melhor dependendo de quais casos foram incluídos no cálculo. O mesmo ocorre quando se comparam carteiras com diferentes proporções de processos simples e complexos.

Por isso, uma análise estatisticamente confiável precisa estabelecer previamente sua população de interesse. Isso significa determinar quais processos serão analisados, qual período será considerado, quais tribunais e instâncias estarão incluídos e quais critérios serão utilizados para selecionar os casos. Só depois dessa definição é possível interpretar adequadamente a taxa encontrada.

Uma pergunta como “qual é o índice de êxito desta carteira?” é, portanto, muito menos precisa do que uma pergunta como “qual foi a proporção de resultados favoráveis em processos de determinada matéria, distribuídos em determinados tribunais, em determinado período e com determinada posição processual?”. Quanto mais clara for a pergunta, maior será a capacidade de interpretar o resultado.

3. O tamanho da amostra e a incerteza também fazem parte do resultado

Outro erro frequente é tratar qualquer percentual como se tivesse o mesmo grau de confiabilidade. Uma taxa de 80% calculada sobre 20 processos não possui a mesma estabilidade estatística de uma taxa de 80% calculada sobre 20 mil processos.

Isso acontece porque toda estimativa baseada em uma amostra apresenta algum grau de incerteza. Quanto maior e mais representativa for a amostra, maior tende a ser a precisão da estimativa, embora o tamanho necessário dependa do desenho da pesquisa, da variabilidade dos dados e do nível de precisão pretendido. A metodologia da ABJ trata justamente de questões como amostragem, medidas de posição e medidas de variabilidade na construção de pesquisas quantitativas em Direito.

Por essa razão, apresentar apenas “72% de êxito” pode ser insuficiente. Uma análise estatística mais completa pode apresentar também um intervalo de confiança, indicando uma faixa na qual se espera encontrar o parâmetro populacional, de acordo com o nível de confiança adotado e as premissas do método utilizado. O intervalo não deve ser interpretado como uma garantia sobre o valor verdadeiro, mas como uma forma de comunicar a incerteza associada à estimativa.

Essa informação ganha relevância principalmente quando se pretende comparar grupos. Imagine que uma carteira tenha 72% de êxito e outra tenha 75%. A diferença de três pontos percentuais pode parecer relevante, mas talvez não seja suficiente para afirmar que existe uma diferença real entre os grupos, especialmente se as amostras forem pequenas ou apresentarem grande variabilidade.

O mesmo raciocínio vale para rankings. Ordenar escritórios, tribunais ou unidades jurídicas exclusivamente pelo percentual de resultados favoráveis pode produzir classificações instáveis quando as quantidades de processos analisados são muito diferentes. Uma carteira com poucos casos pode ocupar uma posição superior simplesmente por apresentar uma taxa mais alta em uma amostra pequena.

A estatística, nesse sentido, não serve apenas para produzir números. Ela serve também para mostrar o quanto podemos confiar naquilo que o número está dizendo.

4. A média pode esconder o que realmente acontece em uma carteira

Uma taxa geral de êxito pode ser útil como indicador inicial, mas raramente é suficiente para compreender uma operação jurídica complexa. Para transformar o percentual em informação estratégica, é necessário observar como os resultados se distribuem.

Considere uma carteira com taxa geral de êxito de 68%. Esse resultado pode ser consequência de uma performance relativamente homogênea ou de situações completamente diferentes. Um tribunal pode apresentar 85% de resultados favoráveis, enquanto outro apresenta 45%. Uma matéria pode alcançar 80%, enquanto outra fica em 30%. Um determinado tipo de ação pode ser muito mais previsível do que outro.

A análise deve, portanto, considerar variáveis que permitam segmentar a carteira. Dependendo da pergunta, isso pode incluir tribunal, unidade judiciária, órgão julgador, classe processual, assunto, polo ocupado pela parte, faixa de valor, período, tipo de resultado e instância. Essa segmentação transforma uma estatística descritiva em uma ferramenta de investigação.

Também é importante observar medidas como mediana, quartis e dispersão, especialmente quando os valores econômicos envolvidos nos processos apresentam grande variação. Uma média pode ser fortemente influenciada por poucos processos de valor excepcionalmente alto e, por isso, não representar bem o comportamento típico da carteira.

A própria estrutura do Poder Judiciário brasileiro favorece esse tipo de análise. O DataJud, instituído pela Resolução CNJ nº 331/2020 como fonte primária do Sistema de Estatística do Poder Judiciário, centraliza dados e metadados processuais dos tribunais abrangidos pela norma. O CNJ também estabelece padrões para classes, assuntos e movimentos processuais por meio das Tabelas Processuais Unificadas.

Isso permite construir recortes mais consistentes, mas não elimina a necessidade de tratamento dos dados. O próprio CNJ mantém ferramentas específicas para qualidade e saneamento do DataJud e ressalta a necessidade de qualificação das informações processuais.

5. Comparar desempenho exige controlar as diferenças entre os casos

Talvez o erro mais perigoso em análises de êxito jurídico seja concluir que uma organização, escritório ou estratégia é melhor simplesmente porque apresenta uma taxa superior.

Imagine dois escritórios. O primeiro apresenta 78% de resultados favoráveis e o segundo, 69%. A conclusão imediata seria que o primeiro possui melhor desempenho. Mas suponha que o primeiro concentre sua atuação em demandas repetitivas de baixa complexidade, enquanto o segundo seja responsável por litígios empresariais de alta complexidade, envolvendo valores elevados e questões jurídicas menos previsíveis. Nesse cenário, a diferença observada pode refletir principalmente a composição das carteiras, e não necessariamente uma diferença de qualidade profissional.

Esse problema é conhecido na estatística como confundimento. Uma variável aparentemente associada ao resultado pode estar apenas refletindo diferenças em outras características dos casos. Em estudos de desempenho jurídico, isso significa que comparações precisam considerar o contexto em que cada resultado ocorreu.

A comparação pode ser aprimorada por meio de segmentações e métodos estatísticos mais avançados. Em determinadas pesquisas, modelos de regressão podem ajudar a estimar a associação entre características dos processos e seus resultados. Em outras, técnicas de pareamento ou métodos de controle estatístico podem ser utilizados para tornar grupos mais comparáveis.

O ponto fundamental é que correlação não significa causalidade. Se determinada estratégia aparece associada a uma taxa maior de êxito, isso não prova, por si só, que a estratégia causou o resultado. Pode haver outras características dos processos influenciando simultaneamente a escolha da estratégia e a probabilidade de sucesso.

Esse cuidado é especialmente importante na comparação entre escritórios. Um escritório que recebe majoritariamente casos com maior probabilidade histórica de sucesso naturalmente poderá apresentar uma taxa de êxito elevada. Isso não significa necessariamente que seu desempenho seja superior ao de outro escritório que recebe casos mais difíceis. Uma avaliação mais justa precisa considerar o perfil da carteira.

6. O contexto estatístico é mais importante do que o percentual isolado

Uma das formas mais úteis de interpretar o êxito jurídico é partir daquilo que a estatística chama de taxa-base. Antes de perguntar qual será o resultado de um determinado processo, é preciso compreender o que historicamente acontece com processos semelhantes.

Se determinado conjunto de ações apresenta historicamente 65% de resultados favoráveis em determinada combinação de tribunal, assunto, classe e polo processual, essa taxa pode funcionar como ponto de partida para uma análise posterior. Ela não significa que o próximo processo terá exatamente 65% de probabilidade de êxito, mas fornece uma referência empírica que é muito mais informativa do que uma avaliação baseada exclusivamente em percepção.

A literatura sobre previsão de resultados de litígios trata justamente da utilização de métodos estatísticos e de aprendizado de máquina para identificar padrões em dados históricos e estimar resultados futuros. O conceito de litigation outcome prediction envolve a previsão de eventos ou resultados processuais a partir de informações observadas em casos anteriores.

A partir dessa taxa-base, características específicas do processo podem ser incorporadas à análise. Tribunal, assunto, classe, órgão julgador, histórico de decisões, posição processual e outros fatores podem apresentar associação com diferentes resultados. Quanto maior e mais bem estruturada for a base histórica, maior será a possibilidade de identificar padrões que não seriam perceptíveis em uma análise manual de poucos casos.

Isso também ajuda a mudar a pergunta feita pelo jurídico. Em vez de perguntar apenas “qual é nossa taxa de êxito?”, passa a ser possível perguntar “em quais tipos de processos nossa taxa de êxito é maior?”, “em quais tribunais o comportamento muda?”, “quais características estão associadas aos resultados mais favoráveis?” e “como nosso desempenho se compara ao comportamento histórico de processos semelhantes?”.

Essa mudança transforma o indicador de resultado em instrumento de planejamento.

7. Quando a análise passa a prever resultados, a estatística precisa ficar ainda mais rigorosa

A utilização de inteligência artificial e machine learning aumenta significativamente o potencial da análise jurídica, mas também exige critérios adicionais. Um modelo capaz de classificar processos entre resultados favoráveis e desfavoráveis pode parecer eficiente quando apresenta uma alta taxa de acerto. O problema é que acurácia, sozinha, pode ser enganosa.

Isso ocorre principalmente quando as classes são desbalanceadas. Se 80% dos processos de determinada base terminarem favoravelmente, um modelo que sempre preveja resultado favorável poderá alcançar 80% de acurácia sem realmente aprender a distinguir os casos. Por isso, modelos preditivos precisam ser avaliados com métricas adequadas à estrutura do problema, como precision, recall, F1, especificidade e outras medidas derivadas da matriz de confusão.

Um estudo sobre previsão de decisões judiciais brasileiras utilizou diferentes algoritmos de machine learning e deep learning e demonstrou a complexidade do problema, justamente porque prever decisões judiciais exige lidar com grandes volumes de processos e com a complexidade do sistema jurídico. O estudo apresentou desempenho de aproximadamente 80,2% de F1 em um conjunto de 4.043 casos de determinado tribunal, demonstrando também que a avaliação de modelos jurídicos precisa ir além de uma simples porcentagem de acertos.

Outro ponto fundamental é a validação temporal. Em uma previsão real, o modelo precisa utilizar somente as informações que estariam disponíveis no momento em que a previsão fosse feita. Caso dados posteriores ao evento previsto sejam incorporados ao treinamento ou à avaliação, pode ocorrer vazamento de informação, produzindo uma estimativa artificialmente otimista do desempenho.

Também é necessário avaliar a calibração das probabilidades. Se um modelo atribui probabilidade de 80% de êxito a um conjunto de processos, aproximadamente 80% desses casos deveriam apresentar resultado favorável para que essa probabilidade seja considerada bem calibrada. Isso é particularmente relevante para aplicações jurídicas porque uma probabilidade de resultado pode ser mais útil à tomada de decisão do que uma classificação absoluta entre “ganha” e “perde”.

A pesquisa contemporânea em litigation analytics já utiliza modelos probabilísticos para produzir estimativas mais granulares de resultados, inclusive demonstrando a importância de comparar as previsões com taxas-base adequadas. Um estudo publicado na Nature Computational Science, por exemplo, mostrou como modelos baseados em dados podem produzir estimativas probabilísticas de resultados de litígios e destacou o problema de utilizar apenas acurácia em contextos nos quais existe forte desequilíbrio entre as classes.

8. O tempo e o impacto financeiro também precisam entrar na avaliação

Existe ainda uma dimensão frequentemente esquecida quando se fala em êxito: quando o resultado aconteceu e qual foi seu impacto econômico.

Uma vitória obtida depois de oito anos de tramitação não necessariamente possui o mesmo valor estratégico de uma solução obtida em poucos meses. Da mesma forma, dois processos podem terminar favoravelmente, mas representar impactos econômicos completamente diferentes.

Por isso, uma análise mais sofisticada pode combinar resultado, duração e valor. Em vez de observar apenas a proporção de vitórias, o jurídico pode avaliar quanto foi recuperado, quanto foi evitado em perdas, qual era a exposição inicialmente estimada, qual foi o resultado econômico efetivo e quanto tempo foi necessário para chegar a esse resultado.

Essa abordagem é especialmente relevante para departamentos jurídicos que precisam demonstrar impacto para o negócio. Uma taxa de êxito elevada pode ser interessante, mas a gestão jurídica também precisa compreender o valor econômico associado a esse desempenho.

Da mesma forma, acordos precisam ser avaliados com cuidado. Um acordo pode ser excelente quando reduz uma exposição elevada e encerra rapidamente uma disputa, mas pode representar resultado ruim quando implica desembolso próximo do valor integral da exposição e ocorre depois de anos de litígio. O resultado jurídico e o resultado econômico, portanto, devem ser analisados conjuntamente quando o objetivo for medir efetividade empresarial.

Essa lógica também permite construir indicadores de preservação de valor, recuperação financeira, redução de exposição e custo por resultado. A escolha das métricas dependerá da natureza da carteira e dos objetivos da organização, mas o princípio é o mesmo: medir aquilo que efetivamente importa para a decisão.

9. A qualidade da base determina a qualidade da conclusão

Nenhuma metodologia estatística consegue compensar completamente uma base de dados ruim. Se processos estão duplicados, classificados incorretamente, com informações incompletas ou com resultados inconsistentes, o cálculo poderá ser matematicamente preciso e, ainda assim, produzir uma conclusão errada.

Essa questão não é exclusiva das empresas. O próprio CNJ mantém mecanismos de saneamento e controle de qualidade do DataJud. As orientações do Conselho determinam que os tribunais observem padrões relacionados a classes, assuntos e movimentos processuais, além de informações como número do processo, unidade judiciária e dados das partes. O CNJ também afirma que os tribunais devem atuar na qualificação e no saneamento dos dados da base.

Isso evidencia uma relação fundamental entre qualidade do dado e qualidade da análise. Antes de calcular uma taxa de êxito, é preciso saber se todos os processos relevantes foram capturados, se não existem duplicidades, se os processos encerrados foram corretamente identificados, se os resultados estão classificados de maneira consistente e se os campos utilizados para segmentação apresentam qualidade suficiente.

Em grandes carteiras, essa etapa pode ser especialmente complexa porque os dados vêm de diferentes sistemas, tribunais e fontes. A existência de padrões nacionais ajuda a estruturar a informação, mas não elimina a necessidade de processos de validação, normalização e enriquecimento.

Por isso, saneamento de base não deve ser tratado como uma etapa meramente operacional. Ele é uma condição para que a análise estatística tenha valor. Uma taxa de êxito calculada sobre uma base inconsistente continua sendo uma taxa inconsistente, ainda que a fórmula utilizada esteja matematicamente correta.

10. Como construir uma métrica de êxito realmente confiável

Uma metodologia consistente pode ser estruturada como um ciclo. Primeiro, é necessário formular claramente a pergunta que a análise pretende responder. Depois, deve-se definir a população de processos e os critérios de inclusão e exclusão. Em seguida, é preciso estabelecer o que será considerado êxito, como acordos e resultados parciais serão tratados e qual período será observado.

Com a população definida, vem a construção da base. Os processos precisam ser identificados, extraídos, relacionados e tratados para que duplicidades, inconsistências e lacunas sejam identificadas. As informações precisam ser padronizadas para que uma mesma categoria tenha o mesmo significado em todos os registros. Só então é possível realizar a análise estatística propriamente dita.

A etapa seguinte é a segmentação. Dependendo da pergunta, os resultados podem ser analisados por tribunal, órgão julgador, classe, assunto, polo, período, valor ou outras variáveis relevantes. A análise pode incorporar medidas de posição e dispersão, intervalos de confiança e testes estatísticos quando apropriado. Quando o objetivo for previsão, entram modelos estatísticos ou de machine learning, acompanhados de métricas adequadas, validação temporal e avaliação de calibração.

Por fim, existe a etapa mais importante: a interpretação. Um resultado estatisticamente significativo não é automaticamente relevante do ponto de vista jurídico ou empresarial. Da mesma forma, uma diferença pequena pode ser estrategicamente importante dependendo do volume e do valor econômico da carteira. O papel da estatística é oferecer uma estrutura mais confiável para a tomada de decisão, não substituir o conhecimento jurídico.

A metodologia da ABJ sintetiza justamente essa lógica ao estruturar a pesquisa jurimétrica em definição do problema, delimitação dos processos, extração, tratamento e análise. O objetivo é permitir que a pesquisa quantitativa seja reproduzível e que suas conclusões possam ser avaliadas a partir dos dados e dos métodos utilizados.

Conclusão

Medir êxito jurídico de forma estatisticamente confiável exige muito mais do que dividir vitórias pelo número de processos encerrados. É necessário definir o conceito de sucesso, delimitar corretamente a população, compreender os possíveis vieses de seleção, avaliar o tamanho e a composição da amostra, tratar adequadamente acordos e resultados parciais, controlar diferenças entre grupos e comunicar a incerteza associada às estimativas.

Quando essa estrutura é aplicada a grandes volumes de processos, a análise deixa de responder apenas quanto uma carteira ganhou ou perdeu. Ela passa a mostrar onde, em quais tipos de processos, em quais tribunais, em quais períodos e sob quais condições determinados resultados são mais frequentes. É essa mudança que transforma uma simples estatística em jurimetria aplicada à gestão jurídica.

O avanço da inteligência artificial amplia ainda mais esse potencial, permitindo identificar padrões e construir modelos de previsão a partir do histórico processual. Mas a sofisticação tecnológica não elimina os fundamentos estatísticos. Pelo contrário, torna ainda mais importante ter dados completos, consistentes e corretamente classificados, além de metodologias capazes de distinguir correlação de causalidade, desempenho real de efeito de composição e previsão confiável de simples acurácia aparente.

No fim, a principal pergunta não deveria ser apenas “qual é a nossa taxa de êxito?”. Uma gestão jurídica orientada por dados precisa perguntar “como essa taxa foi calculada, sobre quais processos, em comparação com qual referência e com que grau de confiança?”. É a resposta a essas perguntas que transforma dados processuais em informação estratégica e permite que o desempenho jurídico seja analisado com o rigor necessário para apoiar decisões de alto impacto.

Para uma operação jurídica de grande escala, esse rigor começa muito antes do cálculo. Começa na captura, organização, saneamento e governança dos dados processuais. O próprio CNJ reconhece a importância dessa etapa ao manter mecanismos específicos para qualificação e saneamento do DataJud e ao estabelecer padrões para os dados utilizados na estatística judiciária.

Em jurimetria, um percentual pode ser o resultado final da análise. Mas a confiabilidade desse percentual é construída muito antes, na qualidade dos dados e na metodologia utilizada para interpretá-los.