NBASP 9020:
Para cumprir suas missões, as entidades avaliadoras utilizam métodos e instrumentos profissionais que garantem a objetividade e a confiabilidade dos dados coletados. O tratamento e a análise de dados e informações coletados também precisam ser confiáveis. A importância desses fatores é crucial em uma abordagem avaliativa. Como foi pontuado na seção 1.3., o propósito dessas orientações é estabelecer uma estrutura comum para realizar uma avaliação de políticas públicas. Esta pretensão não é apresentar e discutir metodologias. Na verdade, há uma série de fontes onde se pode encontrar ferramentas para realizar avaliações. Particularmente, as organizações internacionais, tais como a OCDE, a ONU e o Banco Mundial têm desenvolvido metodologias abrangentes sobre avaliação de políticas públicas. Uma entidade envolvida na avaliação de políticas públicas pode dispor de um painel amplo de instrumentos para realizar avaliações que se baseiam não só em indicadores quantitativos, mas também em estudos de corte comparativos, ensaios controlados aleatórios, dados estatísticos e sociais, pesquisas e entrevistas. Particularmente, a abordagem de avaliação envolve, dependendo das questões de avaliação:
a) Uma revisão da literatura científica internacional;
b) Uma comparação internacional ou pelo menos um padrão de referência criado a partir de missões ao exterior ou mediante entrevistas ou por meio de subcontratados (especialistas, membros da universidade, etc.);
c) Indicadores quantitativos ou qualitativos dos efeitos da política pública avaliada. Todos os métodos quantitativos de avaliação de políticas públicas podem ser utilizados e aplicados nas bases de dados existentes – cuja confiabilidade deve ser avaliada, caso necessário: análise estatística de probabilidade e econométrica; entretanto, deve ser ressaltado que a efetividade de uma política não pode ser deduzida apenas com base em indicadores isolados, isto requer um contrafactual (veja ponto d);
d) Estudos de corte comparativos de modo a avaliar os resultados e os impactos de uma política. O objetivo desses estudos é recriar, seja explicitamente (grupo de controle) ou implicitamente (uma análise “coeteris paribus”, diferenças em diferenças), uma situação fictícia na qual a política pública não existe, e uma situação contrafactual à qual a situação atual é comparada. Com esta comparação é possível, com certo grau de confiabilidade, avaliar o resultado da política examinada; e) Pesquisas de modo a obter informação factual e/ou coletar a opinião do público-alvo da política, bem como as visões dos atores que a implantaram. Essas pesquisas nos fornecem mais informações sobre os efeitos percebidos do que sobre os efeitos objetivos, mas ainda assim são úteis para a avaliação, na medida em que os efeitos percebidos influem no comportamento das partes interessadas de uma política. Essas opiniões podem ser obtidas por meio de:
• Pesquisas quantitativas para obter informação objetiva, dirigidas a uma amostra da população ao mesmo tempo aleatória e representativa (e não a uma amostra “selecionada” pela EFS ou pelos atores da política avaliada). Uma amostra não-representativa leva a um viés na informação obtida na pesquisa.
• Pesquisas qualitativas: entrevistas individuais ou em grupo (grupos homogêneos ou mistos, ou primeiro homogêneo e depois grupos mistos), fóruns, etc. Esta abordagem complementa a mensuração quantitativa das opiniões por meio de pesquisas aleatórias e representativas: as questões perguntadas e as respostas fornecidas são muito ricas e ajudam os participantes a refletir e formular suas opiniões, e os diálogos nestes grupos mistos são informativos. Adicionalmente, e mais especificamente no caso das
Entidades Fiscalizadoras Superiores, uma EFS pode também contribuir para a abordagem de avaliação de políticas públicas com todas as informações a sua disposição referentes à política avaliada como parte de suas outras atividades de controle e auditoria na área em questão, em particular de auditorias operacionais anteriores realizadas em entidades públicas afetadas pela política avaliada. Este enriquecimento derivado do conhecimento, por vezes profundo, que a EFS tem do tema avaliado, assim como das entidades envolvidas, constitui uma fonte de valor agregado essencial da EFS.
FGV (2023):
QUESTÃO CERTA: Uma perspectiva importante e em crescimento no âmbito das atividades realizadas pelos tribunais de contas refere-se à avaliação de políticas públicas. Uma das referências para esse tipo de trabalho é dada pela NBASP 9020 – Avaliação de Políticas Públicas, a qual orienta que uma entidade envolvida na avaliação de políticas públicas pode dispor de um painel amplo de instrumentos para realizar avaliações. Indicadores quantitativos ou qualitativos dos efeitos de uma política pública constituem um instrumento comum nesse tipo de trabalho, e sobre os quais considera-se que: ) não devem ser usados isoladamente para avaliar a efetividade de uma política pública.