Espacios. Vol. 35 (Nº 13) Año 2014. Pág. 21

Seleção e Análise de Conteúdo de um Portfólio de Artigos sobre a Avaliação do Desempenho Logístico

Selection and Analysis of Contents of a Portfolio of Articles about the Evaluation of Logistics Performance

Sandra Rolim ENSSLIN 1; Leonardo ENSSLIN 2; Leonardo Corrêa CHAVES 3; Michele GABRIEL 4; Claudilaine Caldas de OLIVEIRA 5

Recibido: 04/09/14 • Aprobado: 30/09/14

Contenido

1. Introdução

2. Fundamentação Teórica

3. Metodologia da Pesquisa

4. Resultados e Análise

5. Considerações finais

Referências

1. Introdução

A globalização acarretou em uma competição acirrada na qual as empresas que desejam manter suas operações precisam cada vez mais de inovação em suas operações. Nesse sentido, o desempenho logístico tem ganhando notoriedade, tendo em vista que a qualidade de conservação de produtos, a entrega em tem satisfatório ao cliente e custos baixos são fatores críticos de sucesso para o negócio, e, a avaliação de desempenho torna-se um elemento chave para que se possa compreender, medir e melhorar as operações logísticas. Esse contexto motivou os presentes pesquisadores a pesquisar material na literatura para buscar expandir construir conhecimento sobre o tema.

A construção do conhecimento necessário para que o pesquisador dê início a uma pesquisa científica, segundo Ensslin et al. (2010), está intimamente relacionada com as suas próprias delimitações, que são influenciadas pelo contexto em que o pesquisador está inserido e pela disponibilidade de acesso às bases de pesquisa.  A identificação de artigos relevantes e que contribuem para a geração de conhecimento, dando base à realização de pesquisas científicas tornou-se complexa devido à quantidade de informação disponível em periódicos nacionais e internacionais, distribuídos em diversas fontes de pesquisa (ENSSLIN et. al. 2001;  BORTOLUZZIet al. 2011; DELLA BRUNA JUNIOR et. al. 2012).

Diante este cenário, emerge a pergunta de pesquisa desse trabalho: Como identificar as oportunidades de pesquisas do tema, a partir de um conjunto de artigos científicos relevantes sobre o tema? Com o propósito de responder a este questionamento, o presente artigo tem por objetivo: analisar e evidenciar os aspectos de destaque e as oportunidades de pesquisa em um portfólio bibliográfico sobre o tema Avaliação do Desempenho Logístico. O instrumento de intervenção adotado, Processo para Mapeamento do Conhecimento de um Tema (Knowlege Development Process – Constructivist - ProKnow-C), parte de delimitações espaciais, científicas e temporais, definidas pelos pesquisadores.

Desta forma, o artigo está organizado em seis seções: (i) introdução; (ii) fundamentação teórica; (iii) enquadramento metodológico; (iv) resultados e discussões; (v) considerações finais, seguido das referências bibliográficas.

2. Fundamentação Teórica

O ambiente competitivo aliado ao fenômeno cada vez mais agressivo da globalização dos mercados, exige das empresas atenção à sua performance. Exigências em termos de agilidade, produtividade e qualidade dos serviços oferecidos aos clientes proporcionou que as atividades de logística assumissem papel fundamental entre as diversas atividades da empresa.

Desde a sua definição nos anos 60, o conceito da "Logística" tem passado por um processo evolutivo.  No início a Logística era confundida com as atividades do transporte e da armazenagem de produtos. Na década de 80, a globalização promoveu aumento da competitividade, gerando uma revolução na logística, e somente no início dos anos 90, admitiu-se o caráter estratégico da logística, que corresponde à visão moderna de Gerenciamento da Cadeia de Suprimento (Supply Chain Management - SCM) (CHING, 2001;  NOVAES, 2004).

Pelo poder de tornar-se um diferencial competitivo para qualquer empresa, e, por abordar custos, tempo e visão de mercado antes de tomar decisões (CHING, 2001;  NOVAES, 2004; BALLOU, 2006), a logística tem despertado estudos de diversos autores e inúmeros métodos foram desenvolvidos para apoiar os gestores nos processos de tomada de decisão, ou seja, de gestão.

Em contextos decisórios, a Avaliação de Desempenho (AD) é utilizada com o propósito de ser uma ferramenta para auxiliar os gestores. Desde 1970, o conceito de AD emerge como instrumento de apoio à gestão, e com a revolução da medição do desempenho, surgiram na literatura vários estudos de construção de métodos de AD (NUDURUPATIet. al. 2011).

Pesquisadores como Rittel e Weber (1973), Roy (1993), Ensslin et. al. (2001a), apresentam as quatro abordagens (visões de mundo) para contextos decisórios. Estas abordagens são diferentes, porém cada uma apresenta suas potencialidades e suas delimitações (Figura 1).

Figura 1 - Abordagens para modelar contextos decisórios e algumas de suas características.
Fonte: Elaborado pelos autores a partir de Lacerda (2012b), Petri (2005)

Para Roy (1993), as principais características das abordagens remetem à participação do gestor ou decisor e suas consequências. Enquanto as abordagens Normativistas e Descretivistas utilizam os conhecimentos já existentes, as abordagens Prescretivistas e Construtivistas partem do pressuposto que o decisor é o ponto de partida da geração de conhecimento. Os autores Roy (1993), Landry (1995), Ensslin et. al. (2001b), Lacerda et. al. (2011a,b), Petri (2005) investigaram o tema e identificaram que o uso de métodos para a AD como instrumentos para apoio à decisão, construídos a partir da visão clássica (abordagens Normativistas e Descritivistas), tem frustrado os praticantes desta área, enfatizando que o uso de abordagens com visão singular e construtivista têm se mostrado mais efetivo.

3. Metodologia da Pesquisa

A presente pesquisa é de natureza exploratória, descritiva e bibliográfica (GIL, 1999). Exploratória, por ter como objetivo gerar conhecimento nos pesquisadores, por meio da seleção e análise dos artigos científicos, publicados em periódicos indexados em bases de dados. E, descritiva por trazer a descrição de características do Portfólio Bibliográfico gerado a partir das percepções dos pesquisadores.

Quanto à abordagem do problema, a pesquisa caracterizou-se como qualitativa e quantitativa. Qualitativa por envolver atividades de análise e reflexão sobre as percepções, para interpretar e selecionar quais os artigos mais alinhados ao tema, segundo as delimitações e percepções dos pesquisadores. E, quantitativa por coletar e analisar dados numéricos e aplicar testes estatísticos, tanto na coleta quanto no tratamento dos dados (RICHARDSON, 1999).

As análises ocorreram sob a lógica da pesquisa indutiva, onde o conhecimento se formou nos pesquisadores a partir da observação da realidade empírica, sendo que o problema pesquisado oportuniza novos esclarecimentos no meio científico (RICHARDSON, 1999).

Assim, o resultado da pesquisa foi de ordem aplicada, pois se buscou gerar o conhecimento nos pesquisadores para aplicação no problema investigado (LAKATOS, MARCONI, 2003), através de pesquisa bibliográfica e de pesquisa-ação.

Para a realização das atividades de pesquisa, utilizou-se o instrumento de intervenção, o método ProKnow-C (Figura 2), que é um processo composto por quatro macro etapas que objetiva mapear o conhecimento, segundo as delimitações, percepções do tema, e motivações do pesquisador (BORTOLUZZIet. al. 2011; DELLA BRUNA JUNIORet. al. 2012;  ENSSLINet. al. 2001b; LACERDAet. al. 2012; LACERDA et. al. 2011). Para o desenvolvimento deste trabalho, foram utilizadas as etapas (i) Seleção do Portfólio Bibliográfico, (ii) Bibliometria, e (iii) Análise Sistêmica.

Figura 2 - Definição das Etapas do ProKnow-C.
Fonte: Ensslin et. al. (2012)

4. Resultados e Análise

4.1. Seleção do Portfólio Bibliográfico

Para a seleção do PB as atividades foram separadas em três etapas: (i) seleção do banco de artigos brutos; (ii) filtragem do banco de artigos e (iii) teste para avaliar a representatividade do PB. A seguir são apresentados os resultados de cada etapa.

Para atender a etapa de seleção do banco de artigos bruto para formar o PB, foram definidos dois eixos de pesquisa: Avaliação de Desempenho (AD), e Avaliação do Desempenho Logístico (ADL), e, na sequência, definiu-se as palavras-chave (PC). A partir da definição das palavras-chave todas as possíveis combinações entre as palavras-chave dos eixos de pesquisa foram formadas, por exemplo: "performance appraisal" and "logistics management", resultando um total de 15 possíveis combinações entre as PCs com o uso da expressão booleana AND (Figura 3). Estas combinações possibilitaram buscas em seis bases de dados contidas no Portal de Periódicos da CAPES (CAPES): Scopus, Isi Web of Knowledge, Emerald, Engeneering Village, Wiley, e Proquest.

Figura 3 - Palavras-chave dos eixos de pesquisa.
Fonte: Dados da pesquisa.

Na etapa de filtragem foram eliminadas publicações como: referências duplicadas, publicações em conferências, registros de patentes, livros, e editoriais. A partir destes artigos, os pesquisadores identificaram o reconhecimento científico de cada artigo através de dados coletados no Google Acadêmico (http://scholar.google.com.br/). As referências foram divididas em dois grandes Repositórios (K e P). Para o Repositório K, a análise consistiu em realizar a leitura dos resumos dos artigos com o objetivo de verificar o alinhamento com o tema de pesquisa e compor o Repositório A. Para o Repositório P, a análise foi realizada quanto ao período de publicação, a presença do autor do artigo no banco de autores do Repositório A, e o alinhamento do resumo, compondo o Repositório B. Na sequência uniram-se os artigos do Repositório A e B formando um único repositório, "Repositório C". E, finalizando a etapa da filtragem, os artigos do Repositório C, foram submetidos a leitura integral para confirmar o alinhamento ao tema da pesquisa, que formaram  um Portfólio Bibliográfico, sobre o tema pesquisado segundo as percepções e delimitações dos pesquisadores (Figura 4).

Figura 4 - Filtragem do banco de artigos brutos.
Fonte: Dados da pesquisa

A terceira etapa do ProKnow-C sugere o teste de representatividade do PB. Nesta etapa são analisadas as referências bibliográficas citadas nos artigos do PB.  Para identificar o reconhecimento científico foram utilizadas as informações do Google Acadêmico, e novamente as referências foram divididas em dois grandes grupos, e somente para aquelas de grande reconhecimento científico (80% do total de citações) foi avaliado o alinhamento de título, resumo e texto, na qual outros dois artigos (Figura 5) foram reconhecidos como alinhados ao tema, e incorporados ao Portfólio Bibliográfico (Figura 6).

Figura 5 – Resultado da Etapa 1 Proknow-C.
Fonte: Dados da pesquisa

-----

Figura 6 - Artigos que formam o Portfólio Bibliográfico.
Fonte: Dados da pesquisa

4.2. Análise Bibliométrica

4.2.1. Perfil do PB

A primeira análise refere-se à relevância dos periódicos do PB que consiste em identificar os periódicos de maior destaque em relação ao tema pesquisado. Os resultados evidenciaram que 62,5% dos artigos estão publicados em cinco periódicos, e 37,5 % estão publicados em seis periódicos, demonstrando a multidisciplinaridade do tema pesquisado.

A próxima análise refere-se ao reconhecimento científico de cada artigo do PB por meio da identificação do número de vezes que o artigo foi citado, por outros artigos científicos (Figura 7). Esta evidenciação torna-se importante quando pesquisadores buscam pesquisas que já obtiveram aceitação no meio acadêmico-científico. Para isto, convencionou a utilizar informações disponibilizadas no Google Acadêmico. Dentre os 16 artigos do PB, o Artigo 11 "A framework for supply chain performance measurement" (GUNASEKARAN; PATEL; MCGAUGHEY, 2004) foi aquele que apresentou o maior reconhecimento científico. Destacou-se também, o Artigo 8 "Performance measurement in supply chain entities: Balanced scorecard perspective" (CHIA; GOH; HUM, 2009).

Figura 7 - Relevância dos artigos do Portfólio Bibliográfico .
Fonte: Dados da pesquisa.

A próxima característica investigada foi o autor mais citado no PB. A identificação dos autores mais relevantes é importante para quem está realizando pesquisas sobre determinado tema, pois proporciona ao pesquisador investigar quem se dedica ao tema e tem obtido destaque. Os 16 artigos do PB contêm 41 autores, sendo que os mais citados do PB foram: Chan (3 artigos);  Qi (2 artigos); Bhagwat (2 artigos); e Sharma (2 artigos). O autor com maior participação no Portfólio Bibliográfico é Felix T. S. Chan, professor associado do Department of Industrial and Manufacturing Systems Engineering, da Universidade de Hong Kong.

A próxima análise referente ao PB diz respeito às palavras-chave (PCs) utilizadas nos artigos. Identificar as PCs dos artigos possibilita maior conhecimento ao pesquisador sobre os termos utilizados no tema de pesquisa. Essas informações são relevantes para manter as padronizações das terminologias e permite também avaliar se as PCs utilizadas no processo de busca para formar o PB estão alinhadas com as utilizadas pelos pesquisadores do PB. Identificou-se 39 palavras-chave, sendo as mais citadas: Supply chain management (11); Balanced scorecard (4); Performance measurement (4); Supply chain (4); e, Fuzzy logic (3). Dentre essas, três palavras-chave (Supply chain management, e Performance measurement, e Supply chain) estavam presentes nas PCs dadas como entradas na Etapa 1 do ProKnow-C.

4.2.2. Perfil das referências bibliográficas do PB

A análise bibliométrica das referências bibliográficas do PB constitui-se em identificar os periódicos, os autores e os artigos que se destacaram nas referências dos artigos do PB. A análise de relevância dos periódicos nas Referências do PB identificou a quantidade de artigos publicados em cada periódico. Foram identificados, 56 periódicos, e os mais citados foram: Industrial Management and Data Systems (11 citações), International Journal of Production Economics (7 citações), Benchmarking (5 citações), Decision Support Systems (5 citações), Harvard Business Review (4 citações), International Journal of Operations and Production Management (4 citações), e Supply Chain Management (4 citações). Estes resultados corroboraram com a multidisciplinaridade do tema.

A seguir, procurou-se identificar a relevância dos artigos do PB nos artigos das referências do PB. Dentre os 16 artigos do PB, sete foram identificados (AGARWAL, 2006;  CAIet. al.2009;  CHAN, QI, 2003;  GUNASEKARAN et. al. 2004; HUANG et.al. 2005; LOHMAN, 2004;  SHARMA, BHAGWAT, 2007), ou seja, 43,75% dos artigos do PB são reconhecidos pelos pesquisadores do tema. Considerando que o PB foi construído a partir do entendimento dos pesquisados sobre o tema de pesquisa, guiados pela singularidade, o resultado encontrado, pode ser considerado satisfatório.

A última análise das referências do PB foi a identificação da relevância dos autores das referências do PB. Foram encontrados 167 autores, na qual os mais representativos são Chan (18 citações) e Qi (16 citações). Estes também foram identificados como mais citados no PB, o que demonstra a eficácia das buscas dos artigos do PB, e a assertividade das delimitações dos pesquisadores.

4.2.3. Perfil do PB e das suas referências

Para a terceira análise bibliométrica, foram agrupadas as informações do perfil do PB e do perfil das referências bibliográficas do PB. A análise consistiu em identificar (i) os periódicos; (ii) os artigos; e, (iii) os autores mais relevantes.

A relevância dos periódicos destacou os periódicos que apresentaram uma ou mais citações no PB. Para analisar, os pesquisadores dividiram o gráfico (Figura 8) em quatro quadrantes. Desta forma, identificou-se no gráfico o periódico de destaque tanto no PB e nas suas Referências, o International Journal of Production Economics, e como periódico destaque apenas nas referências, o Industrial Management and Data Systems.

Figura 8 - Relevância dos periódicos PB x Referências do PB
Fonte: Dados da pesquisa.

A análise do reconhecimento científico dos artigos aconteceu de forma semelhante à dos periódicos, onde foram investigados artigos de autores com maior participação. O artigo "A framework for supply chain performance measurement" (GUNASEKARAN et. al. 2004), foi o destaque no PB. O destaque das referências foram os artigos "An innovative performance measurement method for supply chain management" (CHAN, QI, 2003), e "A conceptual model of performance measurement for supply chains" (CHANet. al. 2003)

A última análise do cruzamento das informações do PB e das Referências do PB foi identificar os autores em destaque. O autor "Chan" foi identificado como autor destaque no PB e nas suas Referências, e o autor "Qi", o destaque para as referências do PB (Figura 9).

Figura 9 - Relevância dos autores PB x Referências do PB
Fonte: Dados da pesquisa.

4.3. Análise Sistêmica

Com o Portfólio Bibliográfico formado, realizou-se a Análise Sistêmica dos artigos selecionados. Esta análise consiste num processo científico utilizado para a partir de uma visão de mundo (filiação teórica) definida e explicitada por suas lentes, analisar uma amostra de artigos representativa de um dado assunto de pesquisa, visando evidenciar para cada lente e globalmente, para a perspectiva estabelecida, os destaques e as oportunidades (carências) de conhecimentos encontrados na amostra (DELLA BRUNA JUNIOR et. al. 2012;  LACERDAet. al. 2011a,b; 2012).

Como visão de mundo se adotada a AD como o processo para construir conhecimento no decisor, a respeito do contexto específico que se propõe avaliar, a partir da percepção do próprio decisor por meio de atividades que identificam, organizam, mensuram ordinalmente e cardinalmente, integram e permitem visualizar o impacto das ações e seu gerenciamento (ENSSLINet. al. 2001a;  LACERDA et. al. 2010;  PETRI, 2005).

Nesta visão de mundo estão presentes seis lentes (Figura 10), que embasam a análise sistêmica dos artigos científicos do Portfólio Bibliográfico (CHAVES et.al. 2012;  LACERDAet. al. 2012).

Figura 10 - Lentes da Definição de Avaliação de Desempenho do LabMCDA.
Fonte: Adaptado de Bortoluzzi et. al.(2011) e Lacerda et. al.(2011b).

4.3.1. Abordagem

Para identificar a harmonia abordagem e dados do modelo construído com sua aplicação, foram realizadas três análises: (i) origem do modelo que o artigo desenvolve; (ii) contexto onde se aplica (usa) o modelo; e, (iii) harmonia das origens com o uso.

As abordagens (estratégias) para avaliar contextos decisórios podem ser: normativistas, descritivistas, pescritivistas e construtivistas (ENSSLINet. al. 2001a;  ROY, 1993). As abordagens normativistas e descritivistas são consideradas por Roy (1993) como realistas.

Quando analisados os artigos do PB, foram identificados 14 artigos que utilizam a abordagem normativista (AGARWAL, 2006;  BHAGWAT, SHARMA, 2007;  CAIet. al. 2009;  CARLO, 2004;  CHAN, 2003;  CHAN, QI, 2003;  CHAN et. al. 2003;  CHIA et. al .2009;  GANGA, CARPINETTI, 2011;  GUNASEKARAN et.al. 2004;  HUANGet. al.2005;  SHARMA, BHAGWAT, 2007;  THEERANUPHATTANA, TANG, 2008;  WONG, WONG, 2007), dois artigos que utilizam a abordagem prescritivistas (ARAMYANet. al. 2007;  LOHMAN, 2004) e nenhum artigo utilizava abordagem descritivista ou construtivista.

Para a análise do contexto na qual se aplica ou recomenda o uso do modelo, os artigos foram classificados em uso genérico ou específico, resultando em 12 artigos utilizando o modelo para contextos genéricos (AGARWAL, 2006;  BHAGWAT, SHARMA, 2007;  CAIet. al.2009;  CARLO, 2004;  CHAN, QI, 2003;  CHANet. al. 2003;  CHIAet. al. 2009;  GANGA, CARPINETTI, 2011;  GUNASEKARAN et. al. 2004;  SHARMA, BHAGWAT, 2007;  THEERANUPHATTANA; TANG, 2008;  WONG, WONG, 2007), quatro artigos utilizando o modelo para contextos específicos (ARAMYANet. al.2007;  CHAN, 2003;  HUANGet. al.2005;  LOHMAN, 2004)

A última análise desta lente procurou analisar a harmonia entre o que constrói com o uso que lhe dá conforme Figura 11.

5. Considerações finais

A presente pesquisa propôs apresentar um processo para construir nos pesquisadores o conhecimento sobre o tema – Avaliação do Desempenho Logístico – por meio do método ProKnow-C. Neste instrumento de intervenção os pesquisadores puderam interagir em todo processo,  que inclui etapas sequenciais e estruturadas para selecionar artigos alinhados ao tema de pesquisa, segundo seus entendimentos e motivações. 

Vale destacar que os resultados obtidos são personalizados ao contexto específico nesta pesquisa, e que as análises realizadas ao longo do processo podem ter sido influenciadas pela subjetividade do próprio pesquisador. Desta forma, não se pode generalizar os resultados obtidos a toda e qualquer pesquisa sobre a Avaliação do Desempenho Logístico. Recomenda-se respeitar as particularidades de cada situação, e aplicar o processo apresentado integralmente a cada novo estudo, e a cada contexto.

A partir dos resultados obtidos na seleção de artigos e nas análises bibliométrica e sistêmica, os pesquisadores podem definir o problema e o objetivo geral da pesquisa que dará sequência a este estudo. Desta forma, o presente trabalho se justificativa por não somente contribuir com a comunidade científica, que estuda a avaliação de desempenho como instrumento de apoio à decisão com enfoque no gerenciamento logístico, mas também se propõe a contribuir para orientar outros pesquisadores que desejam iniciar um processo de pesquisa sobre algum tema e desejam um processo de identificação e seleção de artigos relevantes do tema.

Referências

Agarwal, A.S., R. Tiwari, M. K. (2006); "Modeling the metrics of lean, agile and leagile supply chain: An ANP-based approach". European Journal of Operational Research, 173(1), p. 211-225.

Aramyan, L.H.; Lansink, A.G.J.M.O.; Van Der Vorst, J.G.A.J.; Van Kooten, O. (2007); "Performance measurement in agri-food supply chains: a case study". Supply Chain Management-an International Journal, 12(4), p. 304-315.

Ballou, R.H. (2006); Gerenciamento da cadeia de suprimentos: logística empresarial.   Bookman. 

Behn, R.D. (2003); "Why measure performance? Different purposes require different measures". Public Administration Review, 63(5), p. 586-606.

Bhagwat, R.; Sharma, M.K. (2007); "Performance measurement of supply chain management: A balanced scorecard approach". Computers and Industrial Engineering, 53(1), p. 43-62.

Bortoluzzi, S.C.; Ensslin, S.R.; Ensslin, L.; Valmorbida, S.M.I. (2011); "Avaliação de desempenho em redes de pequenas e médias empresas: estado da arte para as delimitações postas pelo pesquisador". Revista Eletrônica de Estratégia & Negócios, 4(2), p. 202-222.

>Bortoluzzi, S.C.; Ensslin S.R.; Ensslin, L.; Chaves, L.C. (2014) ; "Indicadores de Desempenho Propostos em Pesquisas Nacionais e internacionais para Avaliar Redes de Pequenas e Médias Empresas (PMEs)" 35(2).

Cai, J.; Liu, X.; Xiao, Z.; Liu, J. (2009); "Improving supply chain performance management: A systematic approach to analyzing iterative KPI accomplishment". Decision Support Systems, 46(2), p. 512-521.

Carlo, R. (2004); "Logistic service measurement: a reference framework". Journal of Manufacturing Technology Management, 15(3), p. 280-290.

Chan, F.T.S. (2003); "Performance measurement in a supply chain". International Journal of Advanced Manufacturing Technology, 21(7), p. 534-548.

Chan, F.T.S.; QI, H.J. (2003); "An innovative performance measurement method for supply chain management". Supply Chain Management: An International Journal, 8(3), p. 209-223.

Chan, F.T.S.; Qi, H.J.; Chan, H.K.; Lau, H.C.W.; Ip, R.W.L. (2003); "A conceptual model of performance measurement for supply chains". Management Decision, 41(7), p. 635-642.

Chaves, L.; Ensslin, L.; Ensslin, S.R. (2012); "Mapeamento do Tema Gestão do Apoio à Decisão Quando Analisado sob a Ótica de seus Resultados". Sistemas & Gestão, 7(3), p. 336-348.

Chaves  L.C.; Ensslin, L.; Ensslin, S.R.; Mário, P.C.; Carneiro, S.S.; Borgert, A. (2013); "A utilização da Engenharia do Valor e Custo-Alvo na redução de custos". Espacios, (34)2.

Chia, A.; Goh, M.; Hum, S.H. (2009); "Performance measurement in supply chain entities: Balanced scorecard perspective". Benchmarking, 16(5), p. 605-620.

Ching, H.Y. (2001); Gestão de estoques na cadeia de logística integrada: supply chain.  São Paulo: Atlas.

Della Bruna JR, E.; Ensslin, L.; Ensslin, S.R. (2012); "Seleção e análise de um portfólio de artigos sobre avaliação de desempenho na cadeia de suprimentos". GEPROS - Gestão da Produção, Operações e Sistemas, 7(1), p. 113-125.

Ensslin, L.; Giffhorn, E.; Ensslin, S.R.; Petri, S.M.; Vianna, W.B. (2010); "Avaliação do desempenho de empresas terceirizadas com o uso da metodologia multicritério de apoio à  decisão-construtivista". Pesquisa Operacional, 30(1), p. 125-152.

Ensslin, L.; Neto, G.M.; Noronha, S.M. (2001); Apoio à decisão: metodologias para estruturação de problemas e avaliação multicritério de alternativas.   Florianópolis: Insular.

Ganga, G.M.D.; Carpinetti, L.C.R. (2011); "A fuzzy logic approach to supply chain performance management". International Journal of Production Economics, 134(1), p. 177-187.

Gil, A.C. (1999); Métodos e técnicas de pesquisa social. São Paulo: Atlas.

Gunasekaran, A.; Patel, C.; Mcgaughey, R.E. (2004); "A framework for supply chain performance measurement". International Journal of Production Economics, 87(3), p. 333-347.

Huang, S.H.; Sheoran, S.K.; Keskar, H. (2005); "Computer-assisted supply chain configuration based on supply chain operations reference (SCOR) model". Computers and Industrial Engineering, 48(2), p. 377-394.

Lacerda, R.T.O. (2012); O sucesso em gerenciamento de projetos. Tese (Doutorado em Engenharia de Produção). Programa de Pós-Graduação em Engenharia de Produção., Universidade Federal de Santa Catarina.  

Lacerda, R.T.O.; Ensslin, L.; Ensslin, S.R. (2011a) "A performance measurement framework in portfolio management: A constructivist case". Management Decision, 49(4), p. 648-668.

Lacerda, R.T.O.; Ensslin, L.; Ensslin, S.R. (2011b); "Constribuições à gestao estratégica de organizações quando analisados na visão de seu desempenho". GESTÃO. Org-Revista Eletrônica de Gestão Organizacional, 9(2), p. 327-358.

Lacerda, R.T.O.; ENSSLIN, L.; ENSSLIN, S.R. (2012); "A bibliometric analysis of strategy and performance measurement". Gestão & Produção, 19(1), p. 59-78.

Lakatos, E.M.; Marconi, M.A. (2003); Fundamentos de pesquisa metodológica científica: Revisada e ampliada. São Paulo: Atlas.

Landry, M. (1995); "A note on the concept of'problem'". Organization Studies, 16(2), p. 315-343.

Lohman, C.F., L. Wouters, M. (2004); "Designing a performance measurement system: A case study". European Journal of Operational Research, 156(2), p. 267-286.

Neely, A. (1999); "The performance measurement revolution: Why now and what next?" International Journal of Operations and Production Management, 19(2), p. 205-228.

Neely, A.; Gregory, M.; Platts, K. (1995); "Performance measurement system design: A literature review and research agenda". International Journal of Operations and Production Management, 15(4), p. 80-116.

Novaes, A.G.N. (2004); Logística e gerenciamento da cadeia de distribuição: estratégia, operação e avaliação.   Elsevier/Campus.

Nudurupati, S.; Bititci, U.; Kumar, V.; Chan, F. (2011); "State of the art literature review on performance measurement". Computers & Industrial Engineering, 60(2), p. 279-290.

Petri, S.M. (2005); Modelo para apoiar a avaliação das abordagens de gestão de desempenho e sugerir aperfeiçoamentos: sob a ótica construtivista. Tese (Doutorado em Engenharia de Produção). Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina.

>Richardson, R.J. (1999); Pesquisa social: métodos e técnicas.  São Paulo: Atlas. 

Rittel, H.W.; Webber, M.M. (1973); "Dilemmas in a general theory of planning". Policy sciences, 4(2), p. 155-169.

Roy, B. (1993); "Decision science or decision-aid science?". European Journal of Operational Research, v. 66, n. 2, p. 184-203.

Sharma, M.K.; Bhagwat, R. (2007); "An integrated BSC-AHP approach for supply chain management evaluation". Measuring Business Excellence, 11(3), p. 57-68.

Skinner, W. (1986); "The productivity paradox". Management Review, 75(9), p. 41-45,  1986.

Theeranuphattana, A.; Tang, J.C.S. (2008); "A conceptual model of performance measurement for supply chains: Alternate considerations". Journal of Manufacturing Technology Management, 19(1), p. 125-148.

Wong, W.P.; Wong, K.Y. (2007); "Supply chain performance measurement system using DEA modeling. Industrial Management and Data Systems, 107(3), p. 361-381.

Yeh, D.Y.; Cheng, C.H.; Chi, M.L. (2007); "A modified two-tuple FLC model for evaluating the performance of  SCM: By the Six Sigma DMAIC process." Applied Soft Computing Journal, 7(3), p. 1027-1034.

Yeh, D.Y.; Cheng, C.H.; Chi, M.L. (2007); "A modified two-tuple FLC model for evaluating the performance of SCM: By the Six Sigma DMAIC process." Applied Soft Computing Journal, 7(3), p. 1027-1034.

1. Universidade Federal de Santa Catarina, Brasil - sensslin@gmail.com
2  Universidade do Sul de Santa Catarina, Brasil - leonardoensslin@gmail.com 
3  Universidade Federal de Santa Catarina, Brasil - leonardomg@gmail.com
4 Universidade Federal de Santa Catarina, Brasil - michelegbrl@gmail.com
5 Universidade Federal de Santa Catarina, Brasil - claudilainecaldas@gmail.com