HOME | ÍNDICE POR TÍTULO | NORMAS PUBLICACIÓN

Espacios. Vol. 37 (Nº 20) Año 2016. Pág. 3

Avaliação de desempenho de compras públicas: Análise bibliométrica da literatura internacional

Performance evaluation of public procurement: Bibliometric analysis of international literature

Leonardo ENSSLIN 1; Ademar DUTRA 2; Micheline BINOTTO 3; Vinicius DEZEM 4

Recibido: 10/03/16 • Aprobado: 11/04/2016

Conteúdo

1. Introdução

2. Referencial Teórico

3. Metodologia

4. Resultados Encontrados

5. Considerações Finais

Referências

1. Introdução

Ao longo das últimas décadas o papel do Estado perante o mercado é de destaque, especialmente pelo potencial de aquisição de bens e serviços que o mesmo possui. Os contratos públicos, além de passarem a ter maior vulto econômico (SPAHIU, 2014), tornaram-se meios para estabelecer o desenvolvimento social e de crescimento de um país ou de uma determinada região por meio da instituição de políticas públicas (DIMITRI, 2013).

As políticas públicas sugerem que as compras devem ser realizadas levando em conta o menor preço, observadas a qualidade e durabilidade do produto, tendo em conta a necessidade de prestar contas à população, já que a essência da Administração Pública é atuar em nome de cada cidadão (JOHNSTON; GIRTH, 2012).

Diante desse contexto, tornou-se imprescindível que os gestores públicos desenvolvam e apliquem técnicas de controle de resultados para aprimorar a qualidade e celeridade, tanto na condução da máquina pública, como na satisfação do cidadão-cliente, que, na atualidade, com todos os meios de comunicação disponíveis, acompanha com interesse as maneiras pelas quais a administração aplica os recursos públicos (BROWN; POTOSKI, 2006).

Uma das formas encontradas para atingir tais exigências é através da aplicação de métodos de avaliação de desempenho nas atividades públicas. Porém, são diversas as abordagens utilizadas, torna-se então, um desafio de alta complexidade realizar a integração de um grupo tão diversificado de pesquisadores para construir um conhecimento consensual sobre o que é e como deve ser operacionalizada a avaliação de desempenho (NELLY, 2002; NEELY, 2005).

Perante as diversas vertentes de avaliação de desempenho, o presente estudo considera esta como um processo utilizado para expandir conhecimento no decisor, sobre um contexto específico que ele se propõe a gerir, de formas a lhe permitir monitorar a situação atual e ter processo para gerar ações de melhoria. (DUTRA, ENSSLIN, 2005; TASCA et al., 2010; ZAMCOPÉ et al., 2010; BORTOLUZZI et al., 2011; ENSSLIN et al., 2012; CHAVES et al., 2013; DELLA BRUNA et al., 2014; ENSSLIN, et al., 2015, SEMLER, et al., 2015).

Contudo, o conhecimento científico sobre o tema Gestão de Compras Públicas, além de vasto, está disperso em uma variedade de publicações, editores, bases de dados, entre outras fontes.

Nestes termos, esta pesquisa busca responder o seguinte questionamento: Como realizar, de forma estruturada, a seleção e análise de um referencial teórico de relevância científica que possa contribuir para o desenvolvimento científico do tema?

Com o propósito de responder à pergunta da pesquisa, tem-se como objetivo geral deste trabalho identificar o que a literatura científica internacional apresenta sobre o tema avaliação de desempenho na gestão de compras públicas, promovendo a construção de conhecimento nos pesquisadores e a identificação de lacunas para futuras pesquisas sobre o tema.

Para gerar este conhecimento, foram definidos os seguintes objetivos específicos: (i) selecionar um Portfólio Bibliográfico, alinhado com a visão dos pesquisadores, relevante sobre Avaliação de Desempenho na Gestão de Compras Públicas; e (ii) realizar análise bibliométrica do Portfólio Bibliográfico e suas referências, visando identificar os periódicos e seus respectivos fatores de impacto, artigos, autores, palavras-chave de destaque dentro da área de interesse.

Caracteriza-se o presente estudo como relevante por estar embasado em um processo sistematizado de atividades que visa à obtenção de um arcabouço teórico, para redução de tempo, esforço e retrabalho quando da realização das leituras necessárias à construção da fundamentação teórica do trabalho de pesquisa conduzido pelos pesquisadores. (ENSSLIN et al., 2015; ROSA,et al., 2015, BORTOLUZZI et al., 2015)

Justifica-se este estudo pela sua originalidade, importância e viabilidade (CASTRO, 1977). É original por não ter sido evidenciado, nas bases de dados internacionais consultadas, artigo com o tema avaliação de desempenho de compras públicas que realizasse a análise do Portfólio Bibliográfico (PB) sob a perspectiva das teorias que, de acordo com Franco et al. (2012), contribuem no entendimento de como as metodologias de avaliação impactam o desempenho organizacional. Esta pesquisa é importante por possibilitar, com base na identificação e análise das características das publicações do fragmento da literatura identificado, sintetizá-la em diretrizes para futuros pesquisadores.

Este trabalho está estruturado em cinco seções, sendo esta primeira seção de caráter introdutório acerca do tema de pesquisa e os objetivos do trabalho. A segunda apresenta o referencial teórico do tema gestão de compras públicas e avaliação de desempenho. A terceira apresenta a metodologia aplicada. A quarta evidencia todas as etapas para a obtenção do portfólio bibliográfico, e a análise bibliométrica realizada. A quinta, as considerações finais evidenciando a pergunta de pesquisa, os objetivos e como foram alcançados, bem como os resultados e recomendações para trabalhos futuros.

2. Referencial Teórico

Nesta seção serão apresentados: (i) Fundamentos da Gestão De Compras no Setor Público e (ii) Definição de avaliação de desempenho como instrumento de apoio à decisão.

2.1. Gestão De Compras Públicas

Para efeito deste trabalho, entendem-se compras públicas como o processo que permite realizar com lisura, transparência, obediência às leis e, segundo a visão estratégica do gestor, a função de aquisição de bens e serviços e sua execução (HEFETZ, WARNER, 2004).

Este tema torna-se cada vez mais importante, ao longo do século XX e também neste século XXI, o papel do Estado como comprador tem aumentado ano após ano na maioria dos países, independentemente do nível de desenvolvimento de cada nação. Ocasionando um significativo aumento no volume e no valor dos contratos firmados pelo Estado (SPAHIU, 2014).

Diante deste crescente aumento, tanto dos volumes como dos valores das compras, tornou-se necessário um controle mais apurado das atividades do setor público e, com isso, os gestores públicos voltaram-se para o estudo das práticas de controle de fiscalização, qualidade e desempenho levadas a efeito pelas empresas privadas, buscando implementá-las. O Governo passou, assim, a orientar-se por questões ligadas ao equilíbrio de suas contas, eficiência, qualidade e controle do tempo de execução contratual, bem como busca de confiabilidade dos cidadãos clientes, segurança e capacidade interna, tal como as empresas do setor privado (HEFETZ, WARNER, 2004).

Além disso, pode-se citar que aquisições públicas eficazes podem também servir de suporte para o desenvolvimento de políticas públicas fiscais, industriais e de inovação, por melhor entregar os recursos financeiros disponíveis. É fato que aquisições eficazes podem se constituir num motor fundamental para o desenvolvimento socioeconômico e de crescimento de um Estado ou de uma determinada região, com a instituição de políticas públicas (DIMITRI, 2013).

Apesar de todo este crescimento e possibilidade de melhorias, desafios ainda devem ser superados. As questões que envolvem a necessidade de lisura e transparência na condução dos interesses públicos e, sobretudo das compras públicas, são sobremaneira importantes.

Com o crescente aumento da participação do Estado no mercado, surge a necessidade de que os sistemas de compras públicas sejam capazes de combater a corrupção, possibilitando assim, lisura e transparência tanto nas negociações (licitações) como no acompanhamento e gestão da execução dos contratos públicos (TABISH, JHA, 2011).

A corrupção e a falta de transparência na condução da máquina pública foram identificadas pelo Banco Mundial, segundo Tabish e Jha (2011) como alguns dos maiores obstáculos para o desenvolvimento econômico e social das nações. Elas comprometem o desenvolvimento, distorcem a finalidade do Estado de Direito, enfraquecendo as bases institucionais de que a economia depende.

Contudo, este é um processo complexo porque envolve múltiplos atos e agentes, tais como o próprio governo e seus colaboradores, os fornecedores dos bens e prestação de serviços e, sobretudo, a sociedade, cujo atendimento se constitui na finalidade última da própria existência da Administração Pública (JOHNSTON, GIRTH, 2012).

Este novo cenário passou a exigir um perfil mais adequado dos gestores públicos, que passaram a desenvolver complexos tipos de competências para providenciar a melhor aplicação do dinheiro público (BROWN, POTOSKI, 2006).

Com stakeholders públicos mais comprometidos e preparados tecnicamente, estamos assistindo a uma mudança gradual e intensa no conceito do que seriam aquisições bem sucedidas. Além do critério do menor preço, as avaliações tendem a considerar abordagens multicritérios em que as dimensões qualitativas também são consideradas. Dimitri (2013) afirma que os contratos públicos devem entregar best value for money, ou seja, ao adjudicar o contrato, os componentes monetários e não monetários, de uma oferta devem ser considerados.

O investimento na capacidade gerencial dos gestores públicos para planejar as contratações, identificando as situações adequadas para cada contratação, negociando contratos fortes, bem embasados e que possam trazer benefícios ao interesse público e, além disso, com o monitoramento do desempenho do mercado e de cada fornecedor são desafios que o Governo deve enfrentar, sobretudo no âmbito da gestão das compras públicas (BROWN, POTOSKI, 2003; JONHSTON, GIRTH, 2012).

2.2. Definição de avaliação de desempenho como instrumento de apoio à decisão.

Dentre as diversas vertentes teóricas que analisam a Avaliação de Desempenho, destaca-se a corrente construtivista, que evidencia esta área de conhecimento como um instrumento para monitorar, controlar e promover o aperfeiçoamento de contextos decisórios (ENSSLIN, et al., 2010) A partir desta perspectiva é possível analisar a evolução da Avaliação de Desempenho, tanto em sua definição como na sua aplicabilidade. No final do século XIX com a revolução industrial e ao longo do século XX e anos seguintes com a globalização do mercado, as organizações se sentiram pressionadas a desenvolver novos mecanismos de gestão que fossem capazes de atender as demandas de um contexto cada vez mais complexo, competitivo e exigente (NEELY, 2005).

A partir desta competitividade foram desenvolvidas novas formas de gestão, embasadas no questionamento dos conhecimentos científicos da época. Destaca-se que dentre estas tendências estava a área de conhecimento voltada para a avaliação de desempenho como ferramenta de apoio à decisão (SKINNER, 1969; 1974).

As décadas posteriores possibilitaram evoluir a avaliação de desempenho da condição de um instrumento, cujo propósito central era o controle da organização, o por meio de indicadores genéricos (NEELY et al., 2005), para um estágio destinado a expansão do conhecimento nos decisores, focando e motivando os esforços organizacionais para o alcance de objetivos holísticos e alinhados aos seus valores e preferências. (ENSSLIN et al., 2010).

Com a utilização deste conhecimento a Avaliação de Desempenho evoluiu em sua visão de atuação, alterando a ênfase para o gerenciamento das atividades organizacionais e a dimensão de atuação para o alcance dos valores e preferencias do gestor, para tanto, utiliza-se da visão multicritério (ENSSLIN et al., 2010).

Destacaram-se, então inúmeros trabalhos, com ênfase para Skinner (1986), Roy (1993), Landry (1995), Roy (1996), Keeney (1992), Bana e Costa (1999) e Ensslin, et al. (2001), que permitiram consolidar a avaliação de desempenho como um instrumento de apoio à decisão.

Para o presente trabalho a definição de avaliação de desempenho está alinhada com esta última visão, mais abrangente, onde ela é entendida como um instrumento para construção do conhecimento no decisor, para apoiar sua gestão do contexto organizacional. E nestes termos, sua definição:

Avaliação de Desempenho (1) é o processo para construir conhecimento no decisor (2), a respeito do contexto específico (2) que se propõe avaliar, a partir da percepção do próprio decisor por meio de atividades que identificam (3), organizam, mensuram (4) ordinalmente e cardinalmente, integram (5) permitem visualizar (6) o impacto das ações e seu gerenciamento (6). (ENSSLIN et al., 2001).

Sua abrangência fez com que estivessem contidas nesta definição seis áreas de conhecimento que, foram denominadas lentes. Esta filiação teórica, em função de sua preocupação em expandir o conhecimento do decisor e reconhecer como foco a busca da melhoria continua da performance, foi denominada avaliação de desempenho construtivista.

3. Metodologia

De acordo com Triviños (1987) a escolha de um determinado processo metodológico está alinhada ao problema a ser pesquisado. Desta forma, a presente seção objetiva enquadrar metodologicamente o trabalho científico para possibilitar aos leitores uma contextualização sob qual ótica a pesquisa foi delineada desde a fixação dos objetivos até a apresentação dos resultados finais.

De acordo com os objetivos da pesquisa, esta pode ser classificada conforme a natureza do objetivo e de acordo com a natureza dos artigos. De acordo com a natureza do objetivo ela é exploratória e descritiva. É de natureza exploratória visto que procura aprofundar o conhecimento a respeito de um determinado tema e o faz por meio da seleção e análise de um conjunto de artigos (LACERDA, et al., 2012). Também é considerada descritiva pela forma com que esse conhecimento é aprofundado, descreve características do portfólio bibliográfico (PB) por meio de dados estatísticos (CRESWELL, 2010). A natureza dos artigos é Teórico-ilustrativa, visto que a formação do PB é feita de acordo com a percepção de valor dos pesquisadores e uma análise estruturada é realizada sobre o tema pesquisado (FLICK, NETZ, 2004).

Em relação à lógica da pesquisa, esta se caracteriza como indutiva visto que seus resultados não podem ser aplicados para a população geral. Ao contrário, esse conhecimento gerado por meio das delimitações feitas pelos pesquisadores e culminadas na formação do PB se mostrava inexistente até então, demonstrando a natureza de princípios não pré-estabelecidos (DA SILVA, MENEZES, 2005).

Quanto ao processo utilizado para realização da pesquisa, esta pode ser classificada conforme a coleta dos dados e a abordagem utilizada para estudar o problema. Os dados utilizados nesse trabalho têm origem primária, por meio das delimitações impostas pelos pesquisadores conforme seus sistemas de valores e também secundários, evidenciados pela reunião de informações de bases de dados científicas (artigos científicos). A abordagem do problema foi tratada de forma qualitativa na seleção do portfólio bibliográfico e de forma quantitativa na análise bibliométrica desse portfólio (BEUREN, 2009; CARDOSO; et al., 2015).

Levando em conta os resultados da pesquisa, esta se classifica como aplicada, tendo em vista que todo o conhecimento gerado foi utilizado pelos autores (BEUREN, 2009).

Nos procedimentos técnicos utilizados, evidencia-se a pesquisa bibliográfica e a pesquisa-ação (COLLIS, HUSSEY, 2005). Bibliográfica no sentido de que todos os trabalhos analisados já tinham sido publicados anteriormente e pesquisa-ação no sentido de que os autores interagem constantemente com o PB durante todo o trabalho realizado.

Finalmente, o instrumento de intervenção utilizado é o ProKnow-C (Knowledge Development Process - Constructivist) (ENSSLIN et al., 2010), que tem como objetivo construir conhecimento no pesquisador a respeito de um tema específico que este esteja estudando, de acordo com a percepção do autor sobre o tema e também com suas delimitações.

Figura 1 - Etapas do ProKnow-C

Fonte: TASCA et al. (2010)

A figura 1 apresenta os macroprocessos do ProKnow-C, neste trabalho foi realizada a seleção do portfólio Bibliográfico e a Bibliometria do fragmento da literatura encontrado, conforme apresentado na seção de resultados a seguir.

4. Resultados Encontrados

Os resultados obtidos com a aplicação do instrumento de intervenção serão apresentados na seguinte ordem: (i) Seleção do Portfólio Bibliográfico e (ii) Análise Bibliométrica.

4.1. Seleção Do Portfólio Bibliográfico

O Proknow-C, como instrumento de intervenção escolhido, requer que os pesquisadores iniciem o processo pela explicitação das áreas de conhecimento que representam o tema, para tanto estas áreas de conhecimento são denominadas eixos de pesquisa, este são representados por palavras-chave, passando por filtros de (i) redundância, (ii) alinhamento ao título, (iii) número de citações no Google scholar, (iv)alinhamento ao resumo, (v) disponibilidade gratuita, (vi) análise das referências do portfólio inicial, (vii) representatividade das referências e (viii) artigos das referências representativos e alinhados ao tema, originando assim um fragmento da literatura composto de 18 artigos, conforme explicitado na figura 2:

Figura 2 - Processo de seleção do Portfólio Bibliográfico

Fonte: Autores da pesquisa (2016)

O produto final dessa etapa é um conjunto de artigos que os pesquisadores consideram relevantes, alinhados ao tema de pesquisa, apresentados no quadro 1:

Quadro 1 - Artigos do Portfolio Bibliográfico

Fonte: Autores da pesquisa, (2016)

Com a expansão do entendimento dos pesquisadores sobre o tema foi possível obter um fragmento da literatura, destacando periódicos, autores e artigos relevantes, dando sequência ao processo Proknow-C em um segundo momento, que não fará parte deste artigo, realiza-se a análise das oportunidades e potencialidades inseridas em seu conteúdo. Neste contexto, a seção seguinte abordará a análise bibliométrica dos artigos escolhidos.

4.2. Análise Bibliométrica

Com o portfólio bibliográfico definido, parte-se para a segunda etapa do processo de identificação de informações para gerar conhecimento quanto ao tema: é feita uma análise dos artigos, com o objetivo de quantificar as informações existentes e fornecer as características destas publicações. Nesta fase de análise, 5 aspectos foram considerados: (a) relevância dos periódicos; (b) reconhecimento científico dos artigos; (c) autores de maior destaque; (d) palavras-chave mais utilizadas; e, (e) análise do fator de impacto dos periódicos do PB.

4.2.1. Relevância dos periódicos

A primeira análise realizada no processo de bibliometria diz respeito à relevância dos periódicos do Portfólio Bibliográfico, das referências do Portfólio Bibliográfico e do cruzamento dos periódicos do Portfólio Bibliográfico com os do seu referencial bibliográfico.

Entre as 18 publicações do portfólio bibliográfico dos autores, destacam-se o Journal of Public Administration Research and Theory com 3 publicações e o Public Administration Review, com 2 artigos, que são periódicos voltados para a publicação de estudos relacionados à Administração Pública.

Dos 63 periódicos citados nas referências do portfólio bibliográfico, novamente os periódicosJournal of Public Administration Research and Theory e Public Administration Review destacaram-se com 12 publicações cada um; seguidos pelo Government Information Quarterly com 7 publicações, Public Performance & Management Review com 4 publicações; Administration & Society e Journal of Policy Analysis and Management com 3 publicações cada um; Public Money and Management, com 2 publicações e, finalmente, pelo Journal of Public Procurement com 1 publicação.

A partir das análises realizadas, pôde-se inferir que os periódicos de maior destaque dentro do Portfólio Bibliográfico e das referências sobre o tema da pesquisa são o Journal of Public Administration Research and Theory e o Public Administration Review. Isso resta perfeitamente evidenciado por meio da constatação de que as linhas editoriais destes periódicos são voltadas ao tema da Administração Pública, e eles destinam-se a publicar estudos sobre esse nicho de mercado.

4.2.2. Fator de impacto dos periódicos

Os autores consideram relevante analisar, dentro do processo da análise bibliométrica, acerca do fator de impacto dos periódicos na comunidade científica. Tem-se que este indicador orienta sobre o número de citações dos artigos publicados pelos periódicos ao longo de dois anos. Nesta pesquisa, os periódicos que publicaram os artigos do Portfólio Bibliográfico foram consultados quanto aos seus fatores de impacto nas bases ISI Web of Knowlegde e Scopus. Cada uma delas possui sua metodologia de cálculo e seu indicador próprio. Para a base ISI, o indicador utilizado é denominado JCR, e, na base Scopus, o indicador é o SJR.

Para a base ISI, 6, dos 14 periódicos, apresentam algum fator de impacto no meio acadêmico. Para a base Scopus, 3 dos 14 periódicos destacaram-se. Cita-se, como destaques, o Journal Public Administration Research and Theory, Public Administration e Journal of Policy Analysis and Management foram os que mais se destacaram pelos seus fatores de impacto, sendo referências qualificadas quando referenciados quanto aos índices SJR e JCR.

4.2.3. Reconhecimento científico dos artigos

O segundo tópico analisado se refere ao reconhecimento científico dos artigos do PB e sua identificação nas referências. No que tange aos artigos do Portfólio Bibliográfico, o trabalho mais citado foi o Comparing public and private organizations: empirical Reserch and the power of the a priory, dos autores Hal G. RAINEY e Barry BOZEMAN, de 2000, com 359 citações, de acordo com o sítio do Google Acadêmico.

Citam-se ainda, como parte dos destaques no PB, os artigos Privatization and its reverse: Explaining the dynamics of the government contracting process, dos autores HEFETZ, Amir; WARNER, Mildred, de 2004, com 317 citações; Outcomes–based performance management in the public sector: implications for government accountability and effectiveness, do autor HEINRICH, Carolyn J., de 2002, com 217 citações, e Contract–management capacity in municipal and county governments, dos autores Trever L.BROWN e Mathew POTOSKI, de 2003, com 208 citações. Os autores citados são reconhecidos na comunidade científica por diversos trabalhos na área de gestão da Administração Pública sob diversas perspectivas, alinhando-se assim com o tema de estudo dos pesquisadores. m relação aos artigos das referências do Portfólio Bibliográfico, o artigo de maior destaque é Developing fully functional E-government: A four stage model, de Layne, K.Lee, de 2002, que possui 1612 citações no sítio do Google Acadêmico. Trata-se de um estudo voltado ao e-government e, pelo número de citações, certamente é um dos artigos mais relevantes da área, embora não esteja exatamente voltado ao tema que se pretende pesquisar neste trabalho.

Ao se confrontar os aspectos citados anteriormente nesse tópico, estabelecendo uma relação entre o número de citações dos artigos do Portfólio Bibliográfico no sítio do Google Acadêmico com o número de citações do autor mais citado dos artigos das referências do PB, identificou-se que os artigos Contract–management capacity in municipal and county governments, de 2003,e Contracting for management: Assessing management capacity under alternative service delivery arrangements, de 2006, escritos pelos autores Trevor L. Brown e Mathew Potoski são destaques tanto no Portfólio Bibliográfico haja vista que contam o primeiro com 208 citações na literatura acadêmica (Google Acadêmico) e, o segundo, com 60 citações; e seus autores, além de possuírem estes 2 artigos no Portfólio Bibliográfico, contam com outros 5 artigos nas Referências do Portfólio, considerando os 80% mais citados.

4.2.4. Autores de maior destaque

Entre os autores de maior destaque, dos 54 integrantes do Portfólio Bibliográfico, estão Trevor L. Brown e Matthew Potoski, com 2 artigos escritos em conjunto. Cabe destacar que esses autores também foram destaque nas referências bibliográficas do Portfólio Bibliográfico, contando, cada um deles com 5 artigos, também escritos em conjunto, sendo 2 com temas relacionados ao objeto deste estudo.

Esses autores são reconhecidos na comunidade científica por publicar trabalhos relacionados à Administração Pública e avaliação de resultados na gestão de contratos públicos.  Por outro lado, Trevor L. Brown (com índice h de 15 no Google Scholar) e Mathew Potoski (com índice de 27 no Google Scholar), são pesquisadores da The Ohio State University e da Bren School of Environmental Science and Management, UCSB, respectivamente esão os autores mais prolíficos do Portfólio Bibliográfico e suas referências.

Quanto aos autores das referências dos artigos, identificaram-se 233 estudiosos que, de alguma maneira, contribuem com a comunidade científica. Desses, os pesquisadores citados no Portfólio Bibliográfico e que tiveram destaque também nas referências foram Trevor L. Brown e Mathew Potoski porque cada um deles figurou em 5 trabalhos das referências, todos escritos em conjunto

Outros destaques ficam por conta dos pesquisadores Jocelyn M. Johnston, do Department of Public Administration and Policy da American University com 4 artigos, sendo 2 deles escritos em conjunto com a pesquisadora Bárbara S. Romzek, da University of Kansas; e David Hensher (com índice h de 63 no Google Scholar), Professor of Management, Director of ITLS, University of Sydney, destacaram-se com 3 artigos.

Carolyn J. Heinrich (índice h no Google Scholar de 30), pesquisadora da University of Texas at Austin, teve 2 artigos nas referências bibliográficas, ambos escritos sozinha; e, também foi destaque o pesquisador Barry Bozeman (com índice h do Google Acadêmico de 52), Professor of Technology Policy and Public Management da Arizona State University, com 1 artigo nas referências.

4.2.5. Palavras-chave mais utilizadas

Outro ponto relevante a ser pesquisado é o conjunto de palavras-chave mais citado nos artigos do PB. Identificou-se inicialmente um total de 25 palavras-chave. Contudo, a palavra chave public procurement foi a mais citada nos artigos, tanto do Portfólio bibliográfico como das referências. Também foram encontradas as palavras measurement, performance management, performance procurement e public administration e public sector procurement. Tal fato corrobora a aderência dos artigos com o tema da pesquisa, validando sua utilização no processo de busca.

5. Considerações Finais

Ao longo das últimas décadas, a figura do Estado como comprador tem tomado vulto no cenário mundial. Com isso, tornou-se necessária implantação de um controle mais apurado das atividades do setor público. Brown, Potoski (2003), sugerem a necessidade de investimento em práticas de gestão a fim de elevar o desempenho do Estado, os stakeholders, então, voltaram-se para as práticas de avaliação de desempenho utilizadas pelo setor privado, visando proporcionar mais transparência e fundamentação aos processos de compras.

Esta busca por transparência nos processos de compras públicas corrobora com o disposto no trabalho de Hefetz, Warner (2004), já que busca gerar conhecimento e práticas eficazes de gestão pública, as quais são definidas neste artigo como parte fundamental do processo de desenvolvimento de uma nação (DIMITRI, 2013).

Este estudo analisou a avaliação de desempenho na gestão de compras públicas, levando em conta os princípios de Gestão Pública definidos por TABISH; JHA (2011); HEFETZ; WARNER (2004); BROWN; POTOSKI (2006), objetivando identificar na literatura internacional os artigos publicados com reconhecimento científico; quais pesquisadores estudam este tema; quais são os periódicos de destaque nesse estudo e seus correspondentes fatores de impacto; e quais as palavras-chave mais utilizadas.

É nesse contexto que este trabalho teve como perguntas de pesquisa: i) Quais os artigos mais relevantes em relação à avaliação de desempenho na gestão de compras públicas? e ii) Quais os mais destacados artigos, autores, periódicos e seus respectivos fatores de impacto e palavras-chave sobre este tema?

Com o propósito de responder às perguntas da pesquisa, este trabalho propôs como objetivo geral construir o conhecimento necessário sobre o tema de interesse – aqui ilustrado como Avaliação de Desempenho na Gestão de Compras Públicas – a partir das delimitações dos pesquisadores.

Para o alcance do primeiro objetivo especifico, i) selecionar um Portfólio Bibliográfico relevante, alinhado com a visão dos pesquisadores, sobre Avaliação de Desempenho na Gestão de Compras Públicas, foi definido como tema da pesquisa a Gestão de Compras para o Poder Público.

Foram identificados os 3 eixos de pesquisa que, segundo o entendimento dos pesquisadores representam as áreas de conhecimento contidas no tema. São elas – Gestão (avaliação de desempenho); Compras e Governo.

O processo de busca deu-se a partir de uma equação boleana, contendo as palavras-chave associadas a cada eixo: "(performance or assess* or evalu* or appraisal or measur*) and (acquisition or purch* or procurement or supply or buy*) and (public or government or administration or judiciary)". A pesquisa foi realizada nas bases do Portal da Capes – Web of Science, Scopus, Science Direct, MLA, Proquest – Assia e Ebsco, resultando, nessa primeira etapa 2.656 artigos selecionados que após processo de filtragem restaram 18 artigos, que representam um fragmento da literatura relevante sobre o tema.

O segundo objetivo específico foi (ii) realizar análise bibliométrica do Portfólio Bibliográfico e suas referências, visando identificar os periódicos e seus respectivos fatores de impacto, artigos, autores, palavras-chave de destaque dentro da área de interesse.

Neste caminho, a partir dos 18 artigos que compõem o Portfólio Bibliográfico selecionado e dos 119 artigos referenciados analisaram-se as características dessas publicações.

Os periódicos mais relevantes do Portfólio Bibliográfico sobre o tema Avaliação de Desempenho na Gestão de Compras Públicas são: "Journal Public Administration Research and Theory" com 3 artigos, e "Public Administration Review", com 2 artigos, conforme evidenciado na Seção Resultados - Relevância dos Periódicos.

Os principais resultados do perfil das publicações sobre o tema pesquisado, a partir dos 119 artigos referenciados nas publicações do portfólio bibliográfico são: "Journal Public Administration Research and Theory"; "Public Administration Review" e "Government Information Quarterly", os quais se consubstanciaram nos periódicos mais relevantes das referências dos artigos do portfólio bibliográfico.

Quanto ao fator de impacto dos periódicos consultados, os três que se destacaram como referência pelas bases de dados Web of Science e Scopus foram Journal Public Administration Research and Theory (com fatores de impacto JCR 2,875 e SRJ 3,285), Public Administration (com fatores de impacto JCR 1,863 e SRJ 1,731) e Journal of Policy Analysis and Management (com fatores de impacto JCR 2,101 e SRJ 1,531).

Por outro lado, o estudo intitulado Comparing public and private organizations: empirical Reserch and the power of the a priory publicado em 2000, de autoria de Hal G. Rainey e Barry Bozeman é o artigo do portfólio bibliográfico de maior reconhecimento científico com 359 citações em outros artigos científicos, conforme informação do Google Acadêmico, até a data desta pesquisa; seguido do artigo Privatization and its reverse: Explaining the dynamics of the government contracting process, com 317 citações, evidenciando o reconhecimento científico destes artigos na ciência como um todo.

No que se refere ao reconhecimento dentro do tema, os artigos mais citados nas referências do Portfólio Bibliográfico são: Developing fully functional E-government: A four stage model, de autoria de Layne, K. e Lee, J. (2001), que apareceu com 1612 citações e o artigo Incentives versus transaction costs: A theory of procurement contracts, de autoria de Bajari, P. e Tadelis, S., (2001), com 811 citações.

O Portfólio Bibliográfico conta com 31 autores. Destes, os mais prolíficos sobre o tema pesquisado são Trevor L. Brown (com índice h de 15 no Google Scholar) e Mathew Potoski (com índice h de 27 no Google Scholar), pesquisadores da The Ohio State University e da Bren School of Environmental Science and Management, UCSB, respectivamente.

Os autores com artigos que compõem o Portfólio Bibliográfico e com maior número de artigos nas referências bibliográficas também foram Trevor L. Brown e Mathew Potoski, já citados e qualificados acima, com 5 artigos cada um, todos escritos em conjunto. Após, o pesquisador Jocelyn M. Johnston, do Department of Public Administration and Policy da American University, sendo 2 deles escritos em conjunto com a pesquisadora Bárbara S. Romzek, da University of Kansas; e David Hensher (com índice h de 63 no Google Scholar), Professor of Management, Director of ITLS, University of Sydney, destacaram-se com 4 artigos cada um, escritos em conjunto com outros doutrinadores que não possuíram igual destaque nesta pesquisa.

Carolyn J. Heinrich (índice h no Google Scholar de 30), pesquisadora da University of Texas at Austin, teve 2 artigos nas referências bibliográficas, ambos escritos sozinha; e, também foi destaque o pesquisador Barry Bozeman (com índice h do Google Acadêmico de 52), Professor of Technology Policy and Public Management da Arizona State University, com 1 artigo nas referências.

A palavra mais utilizada nos artigos do Portfólio Bibliográfico foi "Public Procurement", constando em 2 artigos. As palavras-chave que compõem a expressão boleana pesquisada: performance, measur*, procurement, public, government e administration também foram encontradas nos artigos do Portfólio Bibliográfico.

Ao tempo que essas informações evidenciam a resposta à pergunta da pesquisa e aos objetivos geral e específico, evidenciam um processo capaz de, por meio de uma forma estruturada, enfrentar o desafio dos pesquisadores quando ao modo de proceder a uma revisão bibliográfica do estado da arte do tema que se propõe investigar e contribuir.

A contribuição deste trabalho se sustenta no resgate do conhecimento existente, mas disseminado em vários periódicos técnicos internacionais, ao apresentar e ilustrar um processo de seleção de artigos relevantes que formarão o referencial teórico de uma pesquisa que investigue a avaliação de desempenho na gestão de compras públicas. Percebe-se ainda a existência de lacunas de pesquisa nos trabalhos que formaram o fragmento da literatura, especialmente pela proposição de ferramentas realistas como modelo de gestão de compras públicas.

Como recomendação para futuros trabalhos de pesquisa fica o desafio de realizar a terceira etapa do Instrumento de pesquisa a "Análise Sistêmica", a fim de avaliar o conteúdo sob o viés da avaliação de desempenho, objetivando conhecer as potencialidades e as oportunidades para contribuir, em forma inédita, na área da Gestão de Compras Públicas.

Referências

BANA E COSTA; ENSSLIN, L. Decision support systems in action: integrated application in a multicriteria decision aid process. European Journal of Operational Research, v. 113, p. 315-335.1999.

BANCE P. Opening up public services to competition by putting them out to tender: an evaluation. Annals of Public and cooperative economics, v. 74, n. 1, p. 33-61.2003.

BEUREN, I. M.. Como Elaborar Trabalhos Monográficos em Contabilidade. 3. ed. São Paulo: Atlas.2009.

BORTOLUZZI S.C.; ENSSLIN S.R.; ENSSLIN L. Avaliação de desempenho multicritério como apoio à gestão de empresas: Aplicação em uma empresa de serviços. Gestão & Produção, v. 18, n. 3, p. 633-650.2011.

BORTOLUZZI, S.C. ENSSLIN S.R.; ENSSLIN L. CHAVES, L.C. Indicadores De Desempenho Propostos Em Pesquisas Nacionais E Internacionais Para Avaliar Redes De Pequenas E Médias Empresas (Pmes). Revista Espacios, v 35, n. 2, p. 18.2014.

BROWN T.; POTOSKI M. Contracting for management: Assessing management capacity under alternative service delivery arrangements. Journal of Policy Analysis and Management, v. 25, n. 2, p. 323-346.2006.

BROWN T.L.; POTOSKI M. Contract–management capacity in municipal and county governments. Public Administration Review, v. 63, n. 2, p. 153-164. 2003

CARDOSO, A. L. J.; MARTINS, T. S.; KATO, H. T. Tendências temáticas em capacidades dinâmicas: um mapeamento do campo por meio de um estudo de co-citação. RAI: revista de administração e inovação, 12, n. 2, p.38-59.2015.

CASTRO, C. M. A prática da pesquisa. São Paulo: McGraw-Hill, 1977.

COSTA B.K.; VIEIRA S. F.A; BOAVENTURA J.M.G.; ANEZET M.E.M. A Influência dos Stakeholders na Estratégia de Órgãos Públicos: o Caso da Diretoria de Turismo de Guarulhos/SP. Revista Gestão Organizacional, v. 5, n. 1, p. 28-41. 2012.

CHAVES L.C.; ENSSLIN L.; ENSSLIN S.R.; VALMORBIDA I., MARA S.; DA ROSA F.S. Sistemas de Apoio à Decisão: Mapeamento e Análise de Conteúdo. Revista Eletrônica de Ciência Administrativa, v. 12, n. 1. 2013.

COLLIS, J.; HUSSEY, R. Pesquisa em administração: um guia prático para alunos de graduação e pós-graduação. Bookman. 2005.

CRESWELL, J. W. Projeto de pesquisa métodos qualitativo, quantitativo e misto. In Projeto de pesquisa métodos qualitativo, quantitativo e misto. Artmed. 2010.

DA SILVA, E. L.; MENEZES, E. M.. Metodologia da pesquisa e elaboração de dissertação. UFSC, Florianópolis, 4a. edição. 2005.

DELLA BRUNA, J.E.; ENSSLIN L.; ENSSLIN S.R Seleção e análise de um portfólio de artigos sobre avaliação de desempenho na cadeia de suprimentos. Revista GEPROS, n. 1, p. 113. 2014.

LACERDA R.T.O, ENSSLIN L.; ENSSLIN S.R Uma análise bibliométrica da literatura sobre estratégia e avaliação de desempenho. Gestão & Produção, v. 19, n. 1.2012.

DIMITRI N. Best value for money in procurement. Maastricht School of Management Working Paper, v. 2.2012.

DUTRA A., ENSSLIN S.R. Avaliação do desempenho de órgãos públicos: proposta de um estudo de caso. In: X Congresso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública. Santiago, Chile. 2005.

ENSSLIN, L.; MONTIBELLER NETO, G.; NORONHA, S. M. Apoio à decisão: metodologias para estruturação de problemas e avaliação multicritério de alternativas; São Paulo, Insular. 2001.

ENSSLIN, L., ENSSLIN, S. R., DUTRA, A., PETRI, S. M., LIMA, M. V., SCHEID, L. C.,. RAUPP, T. Avaliação de desempenho: objetivos e dimensões.Notas de Aula, 4.2007.

ENSSLIN, L., ENSSLIN, S. R., LACERDA, R. T. D. O., TASCA, J. E. ProKnow-C, knowledge development process-constructivist.Processo técnico com patente de registro pendente junto ao INPI. Brasil. 2010.

ENSSLIN L.; ENSSLIN S.R.; PACHECO G.C. Um estudo sobre segurança em estádios de futebol baseado na análise bibliométrica da literatura internacional. Perspectivas em Ciência da Informação, v. 17, n. 2, p. 71-91.2012.

FLICK, U.; NETZ, S. Uma introdução à pesquisa qualitativa. Bookman, Porto Alegre. 2004.

FRANCO,S. M., LUCIANETTI, L., BOURNE, M. Contemporary performance measurement systems: A review of their consequences and a framework for research. Management Accounting Research, v. 23 n. 2, p. 79-119, 2012.

HEFETZ A.; WARNER M. Privatization and its reverse: Explaining the dynamics of the government contracting process. Journal of Public Administration Research and Theory, v. 14, n. 2, p. 171-190. 2004.

HENSHER D.A., STANLEY J. Transacting under a performance-based contract: The role of negotiation and competitive tendering.Transportation Research Part A: Policy and Practice, v. 42, n. 9, p. 1143-1151. 2008.

JOHNSTON J.M.; GIRTH A.M. Government contracts and "managing the market" exploring the costs of strategic management responses to weak vendor competition. Administration & Society, v. 44, n. 1, p. 3-29. 2012.

KENNERLEY M.; NEELY A. A framework of the factors affecting the evolution of performance measurement systems. International journal of operations & production management, v. 22, n. 11, p. 1222-1245. 2002.

KEENEY, R.L. Value-focused thinking: a path to creative decision making. Harvard University Press, London, 1992.

LACERDA, R. T. D. O.; ENSSLIN, L., ENSSLIN, S. R. Uma análise bibliométrica da literatura sobre estratégia e avaliação de desempenho. Gestão & Produção, vol. 19, n. 1.2012.

NEELY A. The evolution of performance measurement research: developments in the last decade and a research agenda for the next. International Journal of Operations & Production Management, v. 25, n. 12, p. 1264-1277. 2005.

RIBEIRO H.C.M.; CORRÊA R.; DE SOUZA M.T.S. Perfil e evolução do tema pequenas e médias empresas em periódicos brasileiros: uma análise bibliométrica. Revista Gestão Organizacional, v. 5, n. 2, p. 242-258.2012.

RICHARDSON R., WAINWRIGTH D. A pesquisa qualitativa crítiva e válida. In: Richardson, RJ (org). Pesquisa social. São Paulo: Ed. Atlas, 3ª ed. 1999.

ROSA, M. M., ENSSLIN, S. R., PETRI, S. M., ENSSLIN, L.Avaliação de Desempenho de Políticas Públicas: Construção do Conhecimento com Base na Literatura Internacional. Revista Ibero-Americana de Estratégia, v.14, n.3, p. 110 - 130, 2015.

ROY, B. Decision science or decision-aid science? European Journal of Operational Research, v.66, n.2, p.184-203. 1993.

ROY, B. VANDERPOOTEN, D. The European school of MCDA: emergence, basic features and current works. Journal of Multicriteria Decision Analysis, v. 5, n. 16, p. 22-38, 1996.

SEMLER, R.F, BORTOLUZZI, S.C., SCHENATTO, F.J.A. Avaliação de Desempenho da inovação em redes de empresas: análise bibliométrica e sistêmica da literatura científica internacional. Revista Espacios, v. 36, n°24, p 3. 2015.

SKINNER, W. Manufacturing-missing link in corporate strategy. Harvard Business Review, v.May-Jun, p.136-145. 1969.

SKINNER, W. The Focused Factory. Harvard Business Review, v.52, n.3, p.113-121. 1974.

SKINNER, W. The productivity paradox. Harvard Business Review, v.75, n.9, p.41-45. 1986.

SPAHIU A. Administrative Contracts of the Public Procurements in Albania-The Distinctive Features of Their Juridical Nature and Invalidity. Mediterranean Journal of Social Sciences, v. 5, n. 2, p. 499.2014.

TABISH S.Z.S.; JHA K.N. Analyses and evaluation of irregularities in public procurement in India. Construction Management and Economics, v. 29, n. 3, p. 261-274. 2011.

TASCA, E.J.; ENSSLIN L., ENSSLIN S.R.; ALVES M.B.M. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, v. 34, n. 7, p. 631-655. 2010.

TRIVIÑOS, A. N. S. Introdução à pesquisa em ciências sociais: a pesquisa qualitativa em educação. Atlas.1987.

ZAMCOPÉ F.C.; ENSSLIN L.; ENSSLIN S.R.; DUTRA A. Modelo para avaliar o desempenho de operadores logísticos: um estudo de caso na indústria têxtil. Gestão & Produção, v. 17, n.4, 693-705. 2010.

1. Universidade do Sul de Santa Catarina- UNISUL. Email: leonardoensslin@gmail.com
2. Universidade do Sul de Santa Catarina- UNISUL Email: ademar.unisul@gmail.com
3. Universidade do Sul de Santa Catarina- UNISUL Email: michelinebinotto@gmail.com

4. Universidade do Sul de Santa Catarina- UNISUL Email: Vinicius_Dezem@hotmail.com