Índice

Título
Índice
Índice
Título

Política

A ferramenta de SAST da Fluid Attacks obteve a pontuação mais alta no OWASP Benchmark.

cover-owasp-benchmark-fluid-attacks (https://unsplash.com/photos/PFqfV5bn91A)
Felipe Ruiz

Redator e editor de conteúdo

4 min

Na Fluid Attacks, orgulhamo-nos muito de uma grande conquista recente com nossa ferramenta automatizada — a qual desenvolvemos e utilizamos continuamente para detectar vulnerabilidades em sistemas. Essa ferramenta alcançou 100% de acertos (verdadeiros positivos) e 0% de falsos positivos em relação à versão 1.2 do OWASP Benchmark. Vamos colocar essa conquista em contexto.

O que é a OWASP?

Talvez você já tenha ouvido falar da lista OWASP Top 10 de vulnerabilidades. O Open Web Application Security Project (OWASP) é uma fundação sem fins lucrativos dedicada a ajudar a melhorar a segurança de software por meio de diversas iniciativas. A OWASP funciona como uma comunidade online aberta, na qual qualquer pessoa pode contribuir para a produção de materiais na área de segurança de aplicações web e beneficiar-se das informações disponibilizadas. A Fluid Attacks é um membro corporativo ativo da OWASP Foundation.

O que é o OWASP Benchmark?

O projeto OWASP Benchmark é um conjunto de testes gratuito para a linguagem Java, criado em 2015, com o objetivo de avaliar a precisão, a velocidade e a abrangência de ferramentas automatizadas de detecção de vulnerabilidades em softwares. Ele auxilia na identificação dos pontos fortes e fracos de diferentes ferramentas de teste de segurança de aplicações (AST, na sigla em inglês), permitindo comparações objetivas entre elas. Dessa forma, é possível avaliar ferramentas de análise estática (SAST), dinâmica (DAST) ou interativa (IAST). Esse benchmark é extremamente útil tanto para quem busca uma nova ferramenta no mercado quanto para quem deseja identificar melhorias necessárias em uma ferramenta que está sendo desenvolvida.

A versão mais recente do OWASP Benchmark (v1.2) — uma aplicação web de código aberto totalmente executável — contém 2.740 casos de teste (servlets Java individuais). Cada caso apresenta uma vulnerabilidade real e explorável ou uma vulnerabilidade falsa; todos eles estão distribuídos em 11 categorias e correspondem a CWEs específicos. Considerando o conjunto total de casos de teste, 51,6% contêm vulnerabilidades reais (múltiplas variantes de cada categoria), enquanto 48,4% contêm vulnerabilidades falsas. Em suma, as melhores ferramentas, segundo este benchmark, deveriam reportar apenas as vulnerabilidades reais.

OWASP Benchmark test cases

Figura 1. Casos de teste no OWASP Benchmark v1.2.

Há muito tempo, empresas recorrem a soluções SAST e DAST para proteger suas aplicações e verificar o cumprimento de requisitos de conformidade. No entanto, é bastante comum que processos automatizados de detecção de vulnerabilidades apresentem erros em seus relatórios. Assim, por meio deste benchmark, por exemplo, podemos observar que uma ferramenta pode falhar ao identificar vulnerabilidades reais (apresentando Falsos Negativos — também chamados de omissões) ou falhar ao não ignorar alertas falsos de vulnerabilidade (gerando Falsos Positivos). Por outro lado, uma ferramenta pode identificar corretamente vulnerabilidades reais (gerando Verdadeiros Positivos) e ignorar alertas falsos (apresentando Verdadeiros Negativos).

Nesse contexto, considerando casos extremos que gostaríamos de evitar, imagine uma ferramenta que aponte cada linha de código analisada em uma aplicação como vulnerável. Embora isso nos permitisse detectar todas as vulnerabilidades existentes, o resultado estaria repleto de falsos positivos, tornando a ferramenta inútil. O mesmo raciocínio se aplica a uma ferramenta que não apresenta falsos positivos, mas que, por outro lado, é incapaz de detectar qualquer vulnerabilidade. Por fim, seria igualmente inútil contar com uma ferramenta que, de forma aleatória, apresentasse 50% de verdadeiros positivos e 50% de falsos positivos. Veja o gráfico a seguir:

OWASP Benchmark interpretation guide

Figura 2. Guia de interpretação dos resultados do OWASP Benchmark

A Taxa de Verdadeiros Positivos (TPR, na sigla em inglês) é a porcentagem de vulnerabilidades reais que a ferramenta identifica. A Taxa de Falsos Positivos (FPR, na sigla em inglês) é a porcentagem de vulnerabilidades falsas que a ferramenta aponta como sendo reais. O ponto ideal é aquele em que temos uma TPR de 100% e uma FPR de 0%. De qualquer forma, é sempre preferível estar acima da linha vermelha tracejada ("palpite aleatório"), com o valor da primeira taxa sempre superando o da segunda; quanto mais distante, melhor. Tenha cuidado, pois parece que alguns fornecedores podem se esforçar para apresentar uma TPR de 100%, como se esse fosse o único valor relevante quando se trata de precisão.

É aqui que entra o Benchmark Accuracy Score (Pontuação de Precisão do Benchmark). Trata-se, essencialmente, de uma pontuação individual — um índice de Youden — que varia de 0 a 100 e resume a precisão de um conjunto de testes. A equação é simples: basta subtrair um (1) da soma da sensibilidade da ferramenta (equivalente à TPR) e de sua especificidade (equivalente a 1-FPR), expressas como valores numéricos. Veja este exemplo, extraído do site da OWASP:

OWASP Benchmark score example

Figura 3. Exemplo da Pontuação de Referência (aqui denominada 'Scoring').

Consequentemente, a Pontuação de Referência (Benchmark Score) para uma ferramenta com precisão insuficiente é igual a 0, e para uma ferramenta com precisão perfeita é igual a 100 (índice de Youden igual a 1). Na Figura 4, a Pontuação de Referência — que também pode ser negativa — corresponde ao comprimento do segmento de reta que vai de um determinado ponto até a linha diagonal de "Adivinhação Aleatória" (Random Guess).

Quais são os resultados da Fluid Attacks?

Na Fluid Attacks, decidimos testar nossa ferramenta principal e personalizada. Utilizando apenas a técnica SAST (embora ela também possa realizar DAST), essa ferramenta consegue alcançar o melhor resultado possível no OWASP Benchmark, com uma taxa de verdadeiros positivos (TPR) de 100% e uma taxa de falsos positivos (FPR) de 0%. Portanto, nossa Pontuação de Referência é igual a 100, o valor mais alto possível! Há alguns anos, os desenvolvedores do projeto OWASP Benchmark publicaram um quadro comparativo de diferentes ferramentas SAST, tanto de código aberto quanto comerciais. É nesse quadro que agora incluímos os resultados obtidos pela nossa ferramenta.

OWASP Benchmark results comparison

Figura 4. Comparação dos resultados do OWASP Benchmark.

Pontos de atenção identificados pela Fluid Attacks

Os valores obtidos neste cenário são facilmente determinados com precisão, uma vez que o número de vulnerabilidades existentes é conhecido desde o início — ao contrário do que geralmente ocorre em aplicações do mundo real. É importante compreender que este projeto não abrange todas as categorias de vulnerabilidade nem todos os casos possíveis. Ainda assim, a OWASP planeja incluir em seus testes todos os tipos de vulnerabilidades que compõem seu "Top 10", além de oferecer exemplos de código em outras linguagens, indo além do Java.

A OWASP desenvolveu esses casos de teste com base em padrões de codificação observados em aplicações reais; contudo, alguns podem ter relevância questionável, e a maioria é mais simples do que o que se encontra na prática. Empresas que focam exclusivamente em otimizar seus sistemas para obter pontuações elevadas — especialmente nesse tipo de benchmark — podem acabar com uma capacidade bastante limitada ao lidar com a diversidade de códigos encontrados em cenários reais. Portanto, tenha em mente que um bom desempenho neste teste não garante, por si só, que uma ferramenta será eficaz na detecção de vulnerabilidades de modo geral: cuidado com falsas sensações de segurança!

Na Fluid Attacks, orgulhamo-nos de ter alcançado esse objetivo no OWASP Benchmark; no entanto, essa é apenas uma das referências que utilizamos para aprimorar nossa ferramenta. Continuamos coletando feedback a partir de aplicações reais e seus respectivos códigos. Embora nossos clientes possam utilizar nossa ferramenta para identificar vulnerabilidades, recomendamos sempre a realização de testes de segurança abrangentes, complementados pelo valioso trabalho manual de nossos especialistas em testes de intrusão (pentesters).

Por fim, como o OWASP Benchmark pode ser utilizado por qualquer pessoa para avaliar ferramentas de teste de segurança de aplicações, caso você — seja como cliente ou parte interessada — deseje comprovar a autenticidade de nossos resultados, pode seguir este guia. Além disso, se quiser saber mais sobre nossa ferramenta, não hesite em entrar em contato conosco!

Comece agora com a solução de segurança de aplicações da Fluid Attacks

Tags:

teste-de-seguranca

empresa

conformidade

cibersegurança

Assine nossa newsletter

Mantenha-se atualizado sobre nossos próximos eventos e os últimos posts do blog, advisories e outros recursos interessantes.

Reduza o risco sem atrasar suas entregas

Reduza o risco sem atrasar suas entregas

Resultados rápidos e precisos a partir de um único programa de segurança contínuo impulsionado por IA, scanners e pentesters.

Resultados rápidos e precisos a partir de um único programa de segurança contínuo impulsionado por IA, scanners e pentesters.