PERFORMANCE EVALUATION MODEL TO MEASURE THE EFFECTIVENESS OF STATE PUBLIC SPENDING

DOI: https://doi.org/10.55028/don.v12i1.18082
Keywords: Indicators, Performance evaluation, Effectiveness, Public Sector

Abstract

The literature suggests studies on budget spending effectiveness in central and local governments. Given this lack, this study aims to identify the performance indicators (PIs) used in the planning of state governments (PPAs) corresponding to education, present a proposal for PIs to evaluate the effectiveness of spending on education and legitimize them in the TCEs. Thus, we applied two-stage DEA statistical techniques and estimation of longitudinal linear regression models for panel data on expenditures made in the period 2015 to 2019, checklist, likert scale and semi-open-ended questionnaire (google forms). The results indicate the absence of IPs in the elaboration and execution of the PPAs, there is little or no attention in the records about the planned actions, and the inertia of the legislative chambers about them. The proposed IDs achieved 72% statistical effectiveness, and no entity achieved 100% effectiveness in spending, as well as 30% showed efficiency in spending and only 13% of these were 75% effectiveness. Finally, 73% of the TCEs' auditors legitimized the suggested IDs as to their contribution in evaluating the effectiveness of education spending, and these indicators are able to identify which budget actions need interventions for alignment with planning

References

Abreu, C. R., & Câmara, L. M. (2014). O orçamento público como instrumento de ação governamental: uma análise de suas redefinições no contexto da formulação de políticas públicas de infraestrutura. Rev. Adm. Publica. 49(1).

Afonso, A., Schuknecht, L., & Tanzi, V. (2003). Public Sector Efficiency: an International Comparison. Public Choice.

Allin, S., Grignon, M., & Wang, L. (2016). The determinants of efficiency in the Canadian health care system. Health Economics, Policy, and Law. 11(1): 39-65.

Alves, T., & Pinto, J. M. R. (2020). As múltiplas realidades educacionais dos municípios no contexto do Fundeb 1. Revista de Financiamento da Educação. 10: 1-24.

Araújo, C. A. S., Wanke, P., & Siqueira, M. M. (2018). A Performance Analysis of Brazilian Public Health: TOPSIS and Neural Networks application. International Journal of Productivity and Performance Management. Doi: https://doi.org/10.1108/IJPPM-11-2017-0319.

Azevedo, R. R. & Aquino, A. C. B. (2016). O planejamento em municípios de pequeno porte em São Paulo. Revista de Contabilidade e Organizações. 26: 63-76.

Barcelos, C. L. K., & Calmon, P. C. D. P. (2014). A reforma gerencial do orçamento brasileiro: em busca de múltiplos significados. Revista de Administração Pública. 48(1): 159-1981.

Berne, R., & Schramm, R. (1986). The financial analysis of governments. New Jersey: Prentice Hall.

Bonnefoy, J. C., & Arminjo, M. (2005). Indicadores de desempeño en el público. Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES).

Borgert, A, L., Cavichioli, D. (2023). Análise de possíveis determinantes de ustos em universidades públicas e privadas. Revista enfoque: Refexão Contábil. 42(1), 33-52. Doi: 10.4025/enfoque.v42i1.57138

Boyne, G. A., & Chen, A. A. (2007). Performance targets and public service improvement. Journal of Public Administration Research and Theory, 17(3): 455-477.

Brown, K. W. (1993). The 10-Point testo f financial condition: toward in easy-to-use assessment tool for smaller cities. Government Finance Review. 9(6).

Cameron, A. C., & Trivedi, P. K. (2009). Microeconometrics Using Stata. Revised edition. College Station: Stata Press.

Carvalho, J. R. M., Nóbrega, A. K. Q., Kronbauer, C. A. (2020). Avaliação do Desempenho da Gestão Pública Municipal. Revista Desenvolvimento em Questão. 18(53). DOI: https://doi.org/10.21527/2237-6453.2020.53.138-165.

Castro, A. C., & Galvão, A. K. A. (2019). Ensino, literatura e leitura na EJA: um diálogo entre o centro universitário e a educação básica para a formação de docentes no curso de pedagogia. Revista Projeção e Docência. 10(1): 33-40

Charney, B. A., Mead, D. M., & Schermann, K. R. (2002). The new governmental financial reporting model: what it means for analyzing. The journal of Governmental Financial Management. 5(1).

Cinaroglu, S., & Baser, O. (2016). Understanding the relationship between effectiveness and outcome indicators to improve quality in healthcare. Total Quality Management. Doi: http://dx.doi.org/10.1080/14783363.2016.1253467.

Cook, W. D., Tone, K., & Zhu, J. (2014). Data envelopment analysis: Prior to choosing a model. Omega. 44: 1-4.

Costa, F. L., & Castanhar, J. C. (2003). Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública. 37(5): 969-992.

Costa, P. S., & Silva, C. A. T. (2006). Testes empíricos sobre a validade dos indicadores oficiais de desempenho para avaliação de hospitais universitários brasileiros. Revista Universo Contábil. 2(3): 44-62. Disponível em: <https://proxy.furb.br/ojs/index.php/universocont abil/article/view/130>.

Crispim, G., Alberton, L., Flach, L., & Ferreira, C. D. (2021). Ciclo Orçamentário Político: uma análise nos municípios brasileiros. Advances in Scientific and Applied Accounting, 14(1), 106-123. Doi: http://dx.doi.org/10.14392/asaa.2021140104.

Cruz, T., Plank, D., Elacqua, G., Marotta, L., Soares, S., & Cossi, J. (2019). Novo Fundeb: Prós e contras das propostas em debate. https://doi.org/http://dx.doi.org/10.18235/0001853

Faria, F. P., Januzzi, P. M., & Silva, S. J. (2008). Eficiência dos gastos municipais em saúde e educação: uma investigação através da análise envoltória no Estado do Rio de Janeiro. Revista de Administração Pública. 42(1).

Fávero, L. P., & Belfiore, P. (2017). Manual Análise de Dados: estatística e modelagem multivariada com Excel, Spss e Stata. 1 edição, Rio de Janeiro: Elsevier.

Fineduca. (2020). Fundeb: Ponderar com mais racionalidade para redistribuir com mais equidade (Nota Técnica). https://fineduca.org.br/wp-

Groves, S., & Valente M. (2003). Evaluating financial condition: a handbook for local government. 4. Ed. Revised by Karl Nollenberger: Washington: The International City/Country Management Association - ICMA.

Hendrick, R. (2004). Assessing and measuring the fiscal health of local governments: focus on Chicago suburban municipalities. Urban Affairs Review. 40(1).

Hossain, S. (2010). From project audit to performance audit: evolution of performance auditing in Australia. The IUP Journal of Accounting Research and Audit Practices. 9(3): 20-46.

IBGE (2021). Instituto Brasileiro de Geografia e Estatística. População. Acesso disponível em: https://www.ibge.gov.br/estatisticas/sociais/populacao.html

Kavanagh, S. C. (2007). Financing the future: long-term financial planning for local government. Chicago: Government Finance Officers Association - GFOA.

Kleine, R., Philip, K., & Weissert, C. S. (2003). Monitoring local government fiscal healtj: Micjigan’s new 10-point scale of fiscal distress. Government Finance Review. 9(3).

Kloha, P., Weissert, C. S., & Kleine, R. (2005). Developing and Testing a Composite Model to Predict Local Fiscal Distress. Public Administration Review. 65(3).

Lino, A. F., & Aquino, A. C. B. (2017). The diversity of the Brazilian regional Audit Courts on government auditing. Rev. Cont. Fin. 29(76): 26-40. Doi:10.1590/1808-057x201803640.

Lopes, F. F., Júnior, A. E. X., Macêdo, A. F. P., Medeiros, K. N., Oliveira, F. P. S., & Macêdo, M. J. P. (2023). Eficiência na execução orçamentária e desempenho: um estado nas universidades federais brasileiras. Revista Gestão e Secretariado (GeSec), 14(2), 2382-2400.DOI: http://doi.org/10.7769/gesec.v14i2.1715.

Moraes, L. S., Lopes, L. F. D., Brusius, M. D., Roncato, F. S. (2020). Estudo sobre a eficiência dos estados brasileiros na aplicação de recursos públicos. Desafio Online 8(1) 27-47.

Nascimento, S., Bortoluzzi, S. C., Dutra, A., & Ensslin, S. R. (2011). Mapeamento dos indicadores de desempenho organizacional em pesquisas da área de Administração, Ciências Contábeis e Turismo no período de 2000 a 2008. Rev. Adm. 46(4): 373-391. Doi: 10.5700/rausp1018.

Oyadomari, J. C. T., Bido, D. S., Neto, O. R. M., Aguiar, A. B., & Lima, R. G. D. (2023). Relacionamento entre indicadores de desempenho, controle e desempenho estrategicamente alinhados. R. Cont. Fin. 34(91). Doi: https://doi.org/10.1590/1809-57x20221618.enRichartz,

Pinto, E. G., Ximenes, S. B., & Carvalho, A. R. (2022). A educação como investimento público: necessidade política, debate econômico e proposições institucionais. Dossie, 30(47). Doi: https://doi.org/10.14507/epaa.30.6777

Rosa, C. P., Marote, R. P., & Prowle, M. J. (2014). Developing performance audit in Spanish local government: an empirical study of a way forward. Public Money & Management. Doi: http://dx.doi.org/10.1080/09540962.2014.908009.

Santos, G.K. & Raupp, F. M. (2015). Monitoramento e avaliação de resultados dos programas governamentais delineados no PPA. Revista Administração Pública. 49(6):1429-1451. Doi: http://dx.doi.org/10.1590/0034-7612140673.

Santos, S. R. T., & Alves, T. W. (2011). O impacto da Lei de Responsabilidade Fiscal no desempenho financeiro e na execução orçamentária dos municípios no Rio Grande do Sul de 1997 a 2004. Revista de Administração Pública. 45(1): 181-208.

Silva, C. G. (2021). Análise da eficácia na execução orçamentária pública por meio de indicadores de desempenho que podem ser utilizados pela auditoria. Tese de doutorado. PPGC/UFSC – CSE, Florianópolis, SC.

Silva, G. C., Alberton, L., & Ferreira, C. D (2018). Performance indicators in the Municipal Public Management: The reality in Audits applied by the Municipal and State Court of Accounts. American Accounting Association (AAA) Annual Meeting in Washington, DC.

Silva, J. F. B. A., Rebouças, S. M. D. P., Abreu, M. C. S., & Ribeiro, M. C. R. (2007). Construção de um índice de desenvolvimento sustentável e análise espacial das desigualdades nos municípios cearenses. Revista de Administração Pública. 52(1): 149-168. Doi: http://dx.doi.org/10.1590/0034-7612163114.

Simar, L., & Wilson, P. W. (1998). Sensitivity Analysis of Efficiency Scores: How to Bootsrap in Nonparametric Frontier Models. Management Science. 44(1): 49-61. Doi: http://dx.doi.org/10.1287/mnsc.44.1.49

Soares, J. R., Bordin, R., & Rosa, R. S. (2019). Indicadores De Gestão E De Qualidade Nas Instituições Federais de Ensino Superior Brasileiras - 2009/2016. Revista Eletrônica de Administração - READ. 25(2): 215-239.

Soares, M. M., García, E. M., Carbonell, J. R. (2023). Desigualdades territoriais no financiamento das políticas de educação e de saúde na Espanha e no Brasil. Revista de Administração Pública (RAP). 57(1): DOI: http://dx.doi.org/10.1590/0034-761220220168

Sohl, S., Peddle, M. T., Thurmaier, K., Wood, C. H., & Kuhn, G. (2009). Measuring the Financial Position of Municipalities: Numbers Do Not Speak for Speck, B. (2000). Inovação e rotina no Tribunal de Contas da União. Fundação Konrad Adenauer, São Paulo

STN, (2012). Secretaria do Tesouro Nacional. Modelo de capacidade de pagamento: instituído Portaria n. 306, de 10 de setembro. Access: http://www3.tesouro.gov.br/ legislacao/download/estado/Port_306_10set2012.pdf.

Tanno, C. R. (2017). Universalização, qualidade e equidade na alocação de recursos do fundo de manutenção e desenvolvimento da educação básica e de valorização dos profissionais da educação (FUNDEB): Proposta de Aprimoramento para a Implantação do Custo Aluno Qualidade (CAQ). Estudo Técnico nº 24/2017 da Consultoria Legislativa da Câmara dos Deputados. Brasília, DF: Câmara dos Deputados, 2017. Disponível em: https://bit.ly/34UmiLK. Acesso em 26 jul. 2022.

Teixeira, A. B., Mata, C., Pardal, P. N., & Teixeira, N. (2013). Avaliação e divulgação de indicadores de desempenho dos municípios portugueses: o caso do distrito de Setúbal. Revista Universo Contábil. 9(1): 147-168. Doi:10.4270/ruc.2013109.

Titu, M. A. & Bucur, A. (2015). Models for quality analysis of services in the local public Administration. Quality & Quantity Springer. 50: 921-936. Doi: 10.1007/s11135-015-0183-3.

Tripodi, Z. F., Peres, U. D., & Alves T. (2022). Os desafios do financiamento da educação básica no Brasil em perspectiva multidisciplinar. Dossie, 30(45).

Van Helden, J., Johnsen, A. & Vakkuri, J. (2008). Distinctive research patterns on public sector performance measurement of public administration and accounting disciplines. Public Management Review. 10(5): 641-651.

Wang, X., Dennis, L., & Tu Jeff, Y. S. (2007). Measuring the financial condition: a study of US States. Public Budgeting and Finance. 27(2): 1-21.

Published
2023-10-06
Issue
Vol 12 No 1 (2024)
Section
Artigos

POLÍTICA DE DIREITOS AUTORAIS E CONFLITO DE INTERESSES

A Revista Desafio Online (DOn) baseia suas políticas éticas e normas nas diretrizes apresentadas pelo Comimittee on Publication Ethics – COPE (https://publicationethics.org/), em razão de seu compromisso com a qualidade editorial e ética científica.

Dever dos editores e equipe editorial:

  • Decidir quais serão os artigos avaliados, baseados em sua qualidade, relevância acadêmica, conteúdo e adequação às diretrizes de submissão, sem discriminar, nenhum autor, por gênero, sexo, raça, orientação sexual, pensamento político, afiliação institucional, religião, naturalidade, nacionalidade, identidade étnico-cultural, ou outra forma de distinção social.
  • Decidir e se responsabilizar pelos trabalhos que serão publicados (editor-chefe) seguindo as normas da política editorial, bem como os requisitos legais em vigor, no que se refere ao plágio, violação de direitos autorais e difamação.
  • Não divulgar dados dos trabalhos além dos autores, pareceristas e membros do conselho editorial, zelando pela confidencialidade das informações.
  • Não utilizar, ou se apropriar, do conteúdo original dos trabalhos submetidos, ainda não publicados.
  • Não acompanhar o processo editorial do artigo em caso de existência de conflitos de interesses.
  • Garantir que as submissões passem pelo processo de revisão duplo-cega (double-blind), sendo avaliado por, no mínimo, dois pareceristas.
  • Atender aos princípios de boas práticas e transparência, averiguando condutas contrárias a estes, apresentando providências adequadas.

Dever dos pareceristas ad hoc:

  • Auxiliar o corpo editorial, e os autores, no que tange a escolha das decisões editoriais, realizando a revisão sem qualquer tipo de distinção política, cultural, ou social, dos autores.
  • Cumprir o prazo de resposta e data limite da avaliação, comunicando os editores nos casos de impossibilidade de realizar o trabalho.
  • Abster-se de realizar a avaliação quando pouco capacitados ou não aptos, sobre o conteúdo do artigo. O declínio também deve ocorrer, na existência de qualquer conflito de interesses existente, por parte do avaliador.
  • Respeitar o sigilo dos arquivos recebidos, sem que sejam divulgados, expostos ou conversados os conteúdos dos artigos, sem a permissão do editor-chefe, existindo a necessidade. O conteúdo dos trabalhos não deve ser utilizado para benefício próprio.
  • Seguir os critérios de avaliação estipulados nas diretrizes, recomendando ajustes e melhorias, sem nunca realizar críticas ou ataques pessoais aos autores.
  • Indicar referências de materiais adicionais que sejam pertinentes ao tema.
  • Comunicar, aos editores, a existência de publicações anteriores, do mesmo trabalho.
  • Os revisores serão incluídos na lista de pareceristas da Revista Desafio Online (DOn). Havendo a solicitação, eles podem receber uma Declaração de Avaliação formal, do Editor-Chefe. Para isso devem informar o nome completo e CPF, por e-mail.

Dever dos autores:

  • Apresentar relatos precisos das submissões, com detalhes e referências necessárias à replicação, por terceiros. Dados implícitos devem ser precisamente apresentados, no artigo. Afirmações propositalmente incorretas, ou deturpadas, são tidas como má conduta ética, sendo inadmissíveis.
  • Responsabilizar-se pela elaboração do material submetido, devendo o mesmo ser original, resguardando a autenticidade do conteúdo.
  • Informar, através de citações adequadas, fontes de ideias e informações derivadas de outros trabalhos, evidenciando-as nas referências. A apropriação indevida de informações e trechos de trabalhos anteriormente publicados, sem a citação da fonte, se caracteriza como plágio e, nesses casos, o periódico se reserva o direito de rejeitar o trabalho, considerando tal prática antiética e inadmissível.
  • Não submeter trabalhos que possuam, de forma substancial, a mesma investigação, para outros periódicos, ou mesmo que já tenha sido, anteriormente, publicado. Trabalhos publicados, anteriormente, em congressos serão aceitos para publicação apenas em caso de parcerias Fast Track com o evento. Artigos derivados de trabalhos de conclusão de curso, dissertações ou teses serão aceitos apenas mediante a inexistência de publicações em outros periódicos ou eventos, devendo, o autor principal, se responsabilizar pela indicação de outras autorias. A Revista Desafio Online respeita o prazo de 12 meses entre publicações de um mesmo autor.
  • Atribuir a autoria do trabalho apenas àqueles que fizeram contribuições significativas em sua elaboração, sendo estes indicados como coautores, pelo autor principal, se responsabilizando, integralmente, pelo conteúdo. O autor principal deve fornecer os contatos de e-mails dos envolvidos, e certificar-se de que todos aprovaram a versão final do trabalho, consentindo com sua submissão.
  • Declarar qualquer forma existente de conflitos de interesses, bem como apresentar toda e qualquer fonte de auxílio financeiro existente.
  • Colaborar, com os editores, quanto à correção e atualização do seu artigo, através de erratas, ao identificar erros ou informações imprecisa que seja relevante na publicação.
  • Atentar às decisões editoriais, e ao processo de avaliação e revisão, atendendo, o mais rápido possível, as requisições, mantendo seus dados cadastrados atualizados. Pede-se que as adequações sejam realizadas em até 30 dias, considerando o reenvio dos trabalhos.
  • Disponibilizar, caso solicitado, os dados brutos da pesquisa, juntamente com o artigo, para revisão editorial. Os dados utilizados devem se manter acessíveis por, pelo menos, 10 anos após a publicação, considerando a proteção da confidencialidade dos autores, bem como os direitos jurídicos relacionados aos dados.

Arquivamento

A Revista Desafio Online utiliza o sistema LOCKSS. Este é um software livre desenvolvido pela Biblioteca da Universidade de Stanford, que permite preservar revistas online escolhidas ao sondar as páginas das mesmas por conteúdo recém publicado e arquivando-o. Cada arquivo é continuamente validado contra cópias de outras bibliotecas. Caso o conteúdo esteja corrompido ou perdido, as cópias são usadas para restauração.

ÉTICA E ANTIPLÁGIO

Os trabalhos submetidos à Revista Desafio Online (DOn) passarão por software detector de plágio (CopySpider), a qualquer momento, durante o processo editorial. Trabalhos que apresentem mais de 5% de similaridade com outras publicações não serão aceitos, de modo que tais submissões podem ser rejeitadas a qualquer momento, no processo editorial.

Os autores transferem todos os direitos autorais do artigo para a Revista Desafio Online. Qualquer reprodução, total ou parcial, em meios impressos ou eletrônicos, deverá ser solicitada por meio de  autorização. A reprodução, caso autorizada, fará constar o competente registro e agradecimento à Revista.

Todos os artigos publicados, online e de livre acesso aos leitores, tem licença Creative Commons, de atribuição, uso não comercial e compartilhamento por ela.


As obras deste site estão licenciadas sob uma Licença Creative Commons Atribuição-NãoComercial-CompartilhaIgual 3.0 Brasil

 

PUBLICAÇÕES DA EQUIPE EDITORIAL

Não é permitida a submissão de trabalhos pelo editor-chefe e coeditores do periódico, garantindo a imparcialidade no processo editorial.