1. Introdução

A tecnologia de informação tem assumido um papel de destacada importância dentro das organizações contemporâneas. Temos hoje inúmeras empresas onde o uso adequada desta tecnologia é fator qualificador dentro da competição, como, por exemplo, o caso do setor bancário. Os software que as empresas desenvolvem para serem utilizados dentro de seus processos administrativos são incorporados a sua cadeia de valor criando diferenciações significativas e fundamentais. Por outro lado, o orçamento das áreas de desenvolvimento de software têm crescido nas últimas décadas de forma bastante intensa, o que torna a avaliação ex post dos projetos de desenvolvimento de software mais pertinente ainda.

Dentro desta ótica, procedimentos formais de avaliação de projetos serão muito úteis para entender melhor as causas do bom ou mau desempenho de um projeto específico e garantir que os investimentos realizados dêem o retorno esperado.

A proposta apresentada no artigo baseia-se, principalmente, em três trabalho: (i) em três dimensões da avaliação de projetos – procedimentos, critérios e participantes –  adaptadas de Rubio e Nascimento (2005), (ii)das etapas da avaliação ex post de projetos descritas por Sbragia et al (2002), e (iii) das dimensões do desempenho de projetos de Shenhar et al (2001).

2. Desempenho de projetos – Conceito multidimensional

Baker, Murphy e Fisher (1983) propuseram o conceito de sucesso percebido quando notaram que projetos que não atingiam suas metas originais de custo, prazo e qualidade não eram, necessariamente, percebidos como projetos fracassados pelas pessoas envolvidas em seu desenvolvimento. Assim, o sucesso de um projeto estaria ligado à percepção que os envolvidos (stakeholders) têm do sucesso/fracasso do projeto.

Pinto e Slevin (1986) apresentam uma definição de desempenho de projetos que considera tanto os aspectos internos como os externos. Segundo eles, os aspectos internos são:

• Custo;
• Prazo; e
• Qualidade (atendimento às especificações técnicas).

E os aspectos externos são:

• Uso;
• Satisfação; e
• Eficácia.

Os aspectos internos estão muito mais próximos do gerente e da equipe e sofrem influência menor dos clientes e usuários. Os aspectos externos, ao contrário, estão muito mais ligados ao comportamento dos clientes. O quadro 1 apresenta um detalhamento dos aspectos internos e externos com exemplos de critérios de avaliação.

Quadro 1: Dimensões do sucesso de Pinto e Slevin (1986)

Fonte: adaptado de Pinto e Slevin (1986)

Os autores destacam que a importância relativa de cada um dos dois fatores – internos e externos - varia com o tempo. Enquanto os fatores internos, que estão mais sujeitos ao controle e influência da equipe do projeto, são mais importantes nas fases iniciais do projeto, e os fatores externos, mais ligados a aspectos do cliente, assumem importância maior a partir do momento da instalação.

Lim e Mohamed (1999), também, reconhecem a importância da percepção de sucesso. Eles destacam que a percepção de sucesso não é, necessariamente, a mesma para os diferentes atores envolvidos com o projeto. Eles trazem visão de desempenho em duas categorias: macro e micro. Do ponto de vista macro, o sucesso do projeto só pode ser obtido em sua fase operacional, quando do uso do produto gerado pelo projeto. Assim, o macro sucesso depende dos usuários, principalmente. Do ponto de vista micro, o sucesso do projeto irá depender da execução das tarefas e etapas do projeto. Assim, essa divisão – micro e macro – volta-se para avaliações de processo e de produto, respectivamente. Essa visão de produto e de processo é compartilhada por outros autores.

Cooke-Davis (2000) trabalha com dois conceitos separados. O primeiro, chamado de sucesso do projeto é medido através do grau de consecução dos objetivos globais do projeto. Por exemplo, um projeto tem como objetivo gerar, por meio do lançamento de um produto mais moderno, o aumento da participação de mercado, ou desenvolver competências em tecnologias específicas, etc. O segundo conceito é o de sucesso da gestão de projeto, cuja medição é feita com indicadores de cumprimento de prazos, orçamentos e conformidade com padrões de qualidade estabelecidos para o projeto.

Baccarini (1999) utiliza, também, dois conceitos distintos de desempenho: sucesso da gestão do projeto (visão de processo) e sucesso do produto (visão de produto). O sucesso do processo está ligado aos aspectos clássicos de desempenho (prazo, custo e especificações de qualidade técnica), satisfação dos stakeholders como desenvolvimento, e a qualidade do processo de gestão. Apesar de reconhecer a importância última do sucesso do produto, Baccarini (1999) lembra que o sucesso da gestão do projeto (processo) tende a influenciar (positivamente) o sucesso do produto. Ele destaca que, como a avaliação do desempenho depende de quem avalia e do instante da avaliação, é importante estabelecer, a priori, os critérios de sucesso que serão utilizados em um projeto em particular.

Munns e Bjeirmi (1997), também, separam os conceitos de sucesso da gestão de projeto do sucesso de projeto. Aqui, esses conceitos não são complementares. O sucesso da gestão do projeto é apenas uma parte do sucesso do projeto. No ciclo de vida genérico de projetos destes autores, que inclui o desenvolvimento, a construção do produto e seu uso, um projeto está divido nas seguintes etapas: (1) concepção, (2) planejamento, (3) produção, (4) entrega, (5) utilização e (6) descarte

A equipe do projeto está envolvida apenas com os estágios 2, 3 e 4 do projeto, enquanto os clientes estarão interessados nos estágios de 1 a 6. Assim, a equipe estará, naturalmente, mais  atenta ao êxito até a conclusão da etapa 4, em que termina seu envolvimento como projeto. Os clientes (ou usuários) estarão interessados nos resultados finais, advindos da completa utilização até o último estágio. Os autores sugerem que  a avaliação de desempenho pode ser feita utilizando três óticas distintas:

1. Implementação: considera os estágios de 2 a 4 e está focada nas técnicas de gestão de projetos e com sua implementação.
2. Valores percebidos: a visão dos usuários que irão interagir com o projeto durante e estágio de utilização.
3. Satisfação do cliente: ao encerramento do projeto quando o cliente pode examinar todas as influências e uma avaliação do cumprimento dos objetivos globais e dos benefícios pode ser feita.

Wateridge (1995) examinou mais de 100 projetos para verificar quais os critérios e condicionantes de sucesso utilizados em projetos de tecnologia de informação (TI). O trabalho envolveu contato com gerentes de projeto, patrocinadores, usuários, analistas de sistemas e equipes de suporte, em que era pedido que apresentassem sua visão sobre sucesso de projetos de TI. O autor afirma não ter encontrado grande consenso entre os atores de projetos de TI. Contudo, existe uma certa unanimidade em relação à inclusão do cumprimento de prazos e orçamentos dentro de uma definição de critério de sucesso. O autor observou que houve uma variação nos critérios utilizados de desempenho entre projetos considerados de sucesso e os considerados fracassados. Para os projetos considerados de sucesso, atender às especificações de qualidade estabelecidas e o sucesso comercial foram consideradas mais importante pelos gerentes de projeto, enquanto em projetos considerados fracassados, o cumprimento de cronogramas e de orçamentos foram os mais citados. Os usuários, em geral, estão mais preocupados em garantir o resultado final do projeto.

É interessante notar a consistência desse resultado com o de Baker, Murphy e Fisher (1983) que, também, percebeu que os fatores que afetam a percepção de sucesso não são (exatamente) os mesmos que afetam a percepção de fracasso.

Wateridge (1995), também, destaca a importância de se estabelecer, a priori, um critério de avaliação de desempenho entre os atores do projeto. Ele lembra que um gerente só será capaz de tratar, adequadamente, dos condicionantes de sucesso do projeto quando houver um consenso entre os envolvidos sobre os critérios de sucesso utilizados no projeto.

Essa mesma discussão, retomada em trabalho posterior, levou Wateridge (1998) a identificar um conjunto de critérios de desempenho freqüentemente utilizados em projetos de TI. Nessa ocasião, o resultado dos critérios utilizados para avaliar o desempenho de projetos sofreu ligeiras modificações.

O conceito de sucesso utilizado por Dvir et al (1998) possui duas dimensões: benefícios percebidos pelo consumidor e cumprimento de metas de projeto (design), o que sugere, também, uma divisão do conceito de sucesso à medida que os benefícios percebidos pelo consumidor só podem ser avaliados após algum tempo de uso do produto do projeto, ao contrário do cumprimento das especificações, que pode ser avaliado durante o desenvolvimento e ao término do projeto.

Pinto (2002), ao estudar os fatores de risco com critério de sucesso de projetos de sistemas de informação, identificou as seguintes dimensões do sucesso desses projetos:

1. Satisfação com o resultado do projeto;
2. Satisfação com a qualidade técnica do produto do projeto;
3. Efetividade para a organização (aumento da eficácia organizacional);
4. Contribuição para o aperfeiçoamento do processo.

Shenhar et al (2001) não reconhecem a existência de dois conceitos distintos de sucesso – sucesso de projeto e sucesso de produto – e defendem a idéia de que a importância relativa das dimensões do sucesso do projeto muda com o passar do tempo. Esses autores identificaram as seguintes dimensões do sucesso:

• Eficiência do projeto (cumprimento de prazos e orçamentos);
• Impacto no consumidor (satisfação do cliente e qualidade do produto);
• Sucesso do negócio (geração de receita, lucro, share e outros benefícios para a organização mãe); e
• Preparação para o futuro (desenvolvimento de infra-estrutura organizacional e/ou tecnológica para o futuro).

Contudo, a proposta desses autores, também, reconhece que a avaliação de cada dimensão não pode ser feita todas no mesmo instante. Elas têm horizontes diferentes (figura 1).

A importância relativa de cada dimensão varia com o tempo e com a incerteza tecnológica. No curtíssimo prazo, a eficiência do projeto é a mais importante e também a única passível de ser medida com uma precisão confiável. Com o uso do produto desenvolvido, torna-se possível e relevante a avaliação das demais dimensões (figura 1).

Em projetos de baixa incerteza tecnológica, as expectativas em relação ao projeto estão muito mais ligadas a contribuições marginais em que a eficiência do desenvolvimento é fator determinante. Por exemplo, ao fazer uma atualização de um produto, o interesse está em manter o produto de acordo com as especificações de mercado e não se espera que isso vá alterar o ciclo de vida do produto. Quando se trabalha com grandes inovações e com grandes incertezas tecnológicas, as organizações se tornam mais tolerantes a uma baixa eficiência do projeto. Isso porque existe a expectativa de que o projeto possa, eventualmente, gerar uma competência interna em uma nova e emergente tecnologia.

Figura 1 – Dimensões de sucesso x prazo
Fonte: Shenhar et al (2001)

Como pode se observar pelos autores comentados acima, existe uma variação em termos de indicadores de desempenho apesar de haver uma certa convergência em relação às dimensões do desempenho de projetos. Uma diferença marcante entre as propostas apresentadas refere-se à discussão em torno da questão da quantidade de conceitos relacionados ao desempenho. Enquanto alguns (LIM e MOHAMED,1999, COOKE-DAVIES, 2000, BACCARINI,1999, MUNNS 1997) referem-se a dois conceitos distintos –sucesso da administração de projeto (foco no processo de desenvolvimento) e sucesso do projeto (foco no produto resultante do projeto) – outros (SHENHAR et al., 2001; BAKER et al. 1983; PINTO e SLEVIN, 1988) entendem que existe um elemento único em discussão que possui características multidimensionais, em que a relevância de cada dimensão varia com o tempo.

Quadro 2: Dimensões do sucesso de projetos, segundo Shenhar et al

Fonte: Shenhar et al (2001)

Neste trabalho será adotada a segunda linha – um conceito único de desempenho – por entender que ela fornece uma perspectiva temporal em relação ao desempenho de projetos mais interessante.