｢정보시스템연구｣ 제19권 제2호

한국정보시스템학회

2010년 6월, pp. 73～95

국방 정보시스템 연구개발사업 업체선정 평가모형 개발에 관한 연구

* 동국대학교 경영정보학과 박사과정수료, sun0128young@yahoo.co.kr

** 동국대학교 경영정보학과 교수, yjlee@dgu.edu

김선영*․이영재**

			<목 차>
Ⅰ. 서 론 Ⅱ. 이론적 배경 2.1 국방 정보시스템 연구개발사업 2.2 평가지표에 관한 연구 2.3 AHP기법에 관한 연구 Ⅲ. 연구 설계 3.1 연구방법 3.2 조사대상 및 자료분석				Ⅳ. 실증 분석 4.1 전문가 설문을 통한 평가지표 개발 4.2 AHP기법을 적용한 가중치 산정 4.3 결과분석 및 활용방안 Ⅴ. 결 론 참고문헌 Abstract

Ⅰ. 서 론

국방 정보시스템 연구개발사업은 국가안보와 직결되는 전력증강 사업으로 지연되거나 실패할 경우에는 국가 전력증강에 차질을 가져올 수 있는 대단히 중요한 사업이다. 국방 정보시스템 연구개발사업의 업체선정 과정에서 공정성, 투명성 및 객관성을 확보하고자 지속적으로 노력 중이나 일부 탈락업체들로부터 민원은 물론 때로는 법정 소송까지 제기되고 있으며, 이로 인하여 사업을 관리하는 기관에서는 업무 추진에 어려움을 겪고 있다(어하준 외, 2007).

일반 하드웨어 중심의 무기체계 연구개발사업은 “무기체계 연구개발사업 제안서 평가 및 협상지침”(방위사업청, 2009)을 적용하여 평가를 실시하고 있다. 이 지침에는 업체선정 평가 절차, 평가위원 자격기준 및 추천 절차, 표준 평가지표 등의 내용을 포함하고 있다. 그러나 소프트웨어가 중심이 되는 국방 정보시스템 연구개발사업은 하드웨어 중심의 일반 무기체계 사업과는 다른 특성을 가지고 있기 때문에 방위사업청 지침(2009)을 그대로 적용하기에는 한계가 있어서 평가지표 등을 부분적으로 적용하고 있다. 그 영향으로 국방 정보시스템 연구개발사업 업체선정 평가관련 설문조사(송운호 외, 2009)에 의하면 업체선정 평가와 관련하여 보완해야 하는 사항으로 평가지표와 관련된 내용이 78%로 많은 비율을 차지하고 있다. 즉 평가지표에 대한 체계적인 연구가 필요하다는 것을 보여주고 있다.

	국방 정보시스템 연구개발사업 업체선정 평가모형 개발에 관한 연구

｢정보시스템연구｣ 제19권 제2호, 2010년 6월

업체선정 평가에 있어서 평가지표를 무엇으로 선정하느냐에 따라서 업체마다 유·불 리가 좌우되기 때문에 평가지표는 매우 객관적으로 선정하여야 한다. 이러한 평가지표는 해당 사업이 요구하는 성능을 가장 효율적이고 경제적인 방법으로 주어진 기간내에 성공적으로 개발할 수 있는 업체를 평가할 수 있는 내용으로 구성되어야 한다. 그러나 아직 국방 정보시스템 연구개발사업 특성이 반영된 평가지표가 표준화 되어 있지 않아 사업마다 평가항목을 결정하여 적용하고 있는 실정이다.

따라서 본 연구에서는 국방 정보시스템 연구개발사업 특성을 반영한 평가지표를 체계적으로 개발하고 평가지표별 가중치 산정을 통해 우선순위를 도출하여 실제로 적용하는데 활용토록 하고자 한다. 즉 본 연구의 목적은 첫째, 객관적이고 체계적인 평가모형 개발을 위한 연구방법을 제시하고, 둘째, 이를 적용하여 국방 정보시스템 연구개발사업 특성이 반영된 평가지표를 개발하며, 셋째, 평가지표들의 중요도를 객관적이고 합리적인 기법인 AHP를 적용하여 산출하는 것이다.

Ⅱ. 이론적 배경

2.1 국방 정보시스템 연구개발사업

국방 정보시스템 연구개발사업이란 무기체계 중 정보를 수집, 가공, 전달, 전시 하는 기능들을 수행하는 컴퓨터․소프트웨어․데이터․통신수단이 통합되어 그 기능을 발휘하는 소프트웨어 중심의 체계로서 지휘통제․통신체계(C4I), 군사정보지원체계, 무기체계로 분류된 국방 M&S(Modeling and Simulation)체계 등을 통칭하는 개념이다(국방부, 2009).

최근 정보통신 기술은 전투현장에서 근접전투를 수행하고 있는 전투원에게까지 실시간에 모든 정보를 전달할 수 있을 정도로 기술이 발전하고 있다. 미래 전장위협에 효과적으로 대처하기 위해서는 이러한 기술들을 적용하여 가능한 모든 센서체계, 타격체계 및 C4I 체계가 연동된 자동화된 정보시스템이 구축되어야 한다(조재준, 2002). 또한 문태수·강성배(2008)는 정보시스템의 기반구조가 확고한 기업은 선도적으로 또는 적절한 시기에 신기술을 도입하여 전략적으로 활용할 수 있다고 하였는데, 국방 정보시스템 역시 최초 연구개발 단계부터 기반구조를 확고히 할 수 있도록 우수한 기술력을 갖춘 업체에 의하여 신뢰성 있도록 설계되고 개발되어야 한다. 특히 국방 정보시스템은 다양한 감시 및 타격체계 등이 상호 연동되어 운용되고 지속적으로 성능을 개선하여 운용하게 되므로 융통성 있는 구조로 개발되어야 한다.

2국방 정보시스템 연구개발사업에서 업체선정 평가란 해당 국방 정보시스템 연구개발사업 제안요청서상의 요구사항을 달성하기 위해 업체별로 제안한 내용을 분석 및 평가하여 우수업체를 선정하는 것이다(방위사업청, 2009). 방위사업청에서는 업체선정 평가 과정에 있어서 투명성 및 전문성 등을 제고시키기 위해 관련 규정을 지속적으로 개정하여 발전시키고 있다. 세부적인 업체선정 평가 절차는 <표 1>과 같다.

<표 1> 업체선정 평가절차

단 계	내 용
제안요청서 작성	•평가지표 결정, 기술능력평가 및 비용평가 배점 결정 •제안요청서 검토위원회 개최
제안요청서 공고 및 설명회	•조달정보체계를 통해 입찰 공고 •입찰 공고 후 참여 희망업체를 대상으로 설명회 개최
제안서 평가위원 선정 및 평가	•국과연, 기품원, 방위사업청, 소요군, 민간연구소 및 대학 등 전문가 2배수 이상 추천, 선정 •제안서평가팀장 책임하 평가실시
위원회 상정	•통합사업관리팀장 위원회에 보고(협상대상업체 및 우선순위 결정)
업체선정 및 결과 통보	• 위원회 결과 업체 통보 ※ 협상순위, 평가결과, 협상일정 등
* 출처 : 방위사업청, 무기체계 연구개발사업 제안서 평가지침(2009) 정리

국방 정보시스템 연구개발사업에서 업체선정 평가는 단순히 개발업체를 선정하기 위한 과정이 아닌 대단히 중요한 의미를 지니는 과정이다. 권태영(2005)은 업체선정 평가의 중요성을 다음과 같이 주장하였다. 첫째, 최상의 전력유지를 보장해 준다는 것이다. 군의 사업 특성상 군에서 요구하는 능력을 갖춘 무기체계를 필요한 시기에 필요한 수량을 적시에 보장받아야 함은 군의 전투력 유지와 긴밀한 관계가 있다.

둘째, 연구개발의 성공을 보장한다는 것이다. 연구개발사업의 수행기관으로 선정된 업체의 부도나 여타의 이유로 사업의 지속적인 진행이 어려워진 경우, 관련 무기체계 확보는 요원하여 미래의 전력증강에 차질이 우려된다.

셋째, 평가를 통한 군의 신뢰를 증진시킬 수 있다는 것이다. 연구개발 업체선정 평가가 투명하고, 공정하게 수행되지 않는다면 경쟁에서 탈락한 업체에서 민원 및 소송제기 등 다양한 형태의 이의제기가 있다는 것이다.

넷째, 연구개발 투자 활성화 증대에 기여한다는 것이다. 업체에서는 사업수행 업체로서 선정받기 위하여 연구개발에 필요한 장비, 시설, 기술, 인력 등 기반요소들을 구축하기 위해 노력할 것이다. 왜냐하면 업체선정 평가 시 업체를 평가하는 기준으로 업체의 능력, 연구실적, 시설 등이 포함되기 때문이다.

2.2 평가지표에 관한 연구

2.2.1 문헌연구

평가지표에 관한 국내 문헌연구 결과는 다음과 같다. 김찬수(2008)는 국방핵심기술 연구개발의 제안서 평가지표를 AHP기법을 적용하여 제시하였다. 제시한 평가지표는 관련핵심기술 보유수준, 제안요구 이해도 및 개발방안, 소요기술 식별 및 기술적 접근방법, 국산화 계획, 유사 기술장비 및 관련시설 확보, 유사 연구개발 실적 등을 포함하여 총 12개 였다. 장준성(2008)은 델파이 및 AHP기법을 적용하여 국방핵심기술 연구개발사업 업체선정 평가지표로 연구 시설보유, 연구 장비보유, 연구관련 기술보유, 연구책임자의 전문성, 연구 참여 구성원의 전문성, 제안요청서와의 일치성, 연구개발 방법론의 타당성 등을 포함하여 총 18개를 제시하였다. 정선필(2007)은 AHP기법을 통한 IT 아웃소싱 수행업체 평가방법론 연구에서 수행업체의 설비와 인력수준, 수행업체의 성실도, 수행업체와의 긴밀성, 명료한 계약관계, 아웃소싱 측정지표의 유무 등을 포함하여 총 7개의 평가요인을 제시하였다.

장양철·안병석(2006)은 AHP를 이용한 정보시스템 개발업체 선정 평가기준을 연구하였으며, 유사분야 경험, 개발업무 이해도, 개발전략, 기능 및 성능, 개발방법론, 개발환경, 사업수행능력, 개발조직, 관리방법론, 일정 계획 등을 포함하여 총 18개의 평가기준을 제시하였다. 그리고 박상규(2005)는 AHP를 이용한 정보시스템 아웃소싱 업체 선정에 관한 연구에서 정보시스템 아웃소싱 업체 선정기준을 기능성, 신뢰성, 사용편의성, 가격경쟁력, 유지보수, 교육훈련, 기밀보안, 비상대책, 상호협력 등을 포함하여 총 13개의 평가기준을 제시하였다.

외국문헌 중에 업체선정 기준에 대한 연구는 Dickson(1966), Choi & Hartley(1996), Wadhwa & Ravindran(2006) 및 Feaz et al.(2006) Kahraman et al.(2009) 등이 실시하였다. 먼저 Kahraman et al.(2009)은 정보시스템 아웃소싱 업체선정 기준을 가격(Price), 품질(Quality), 납기능력(On-Time Delivery), 시설과 기술능력(Facility and Technological Capability), 의사소통능력(Quality of Relationship), 사업관리자 전문성(Professionalism of Salesperson), 소비자 요구에 반응성(Responsiveness to Customer Needs) 등 7개 요인을 제시하였다. 또한 Wadhwa & Ravindran(2006) 및 Feaz et al.(2006)은 공히 가격(Price), 납기(Lead-time), 품질(Quality)을 제시하였다.

Choi & Hartley(1996)은 업체선정 평가기준을 총 23개를 제시했으며, 요인분석을 통해 재무상태(Finance), 일치성(Consistency), 관계(Relationship), 유연성(Flexibility), 기술력(Technology), 서비스(Service), 신뢰성(Reliability), 가격(Price)의 8개 요인을 추출하였고, Dickson (1966)은 구매담당자의 설문조사를 통하여 업체선정 기준을 총 23개를 제시하였으며 품질, 정시납품 및 업체의 과거실적은 중요한 기준이 된다고 하였다.

2.2.2 적용사례

현재 일반무기체계 연구개발사업에 적용하고 있는 방위사업청 지침(2009)의 “무기체계 연구개발사업 제안서 평가 및 협상지침”에 의하면 개발계획, 개발관리계획, 업체능력으로 구분하여, 총 12개의 표준 평가항목을 제시하고 있으며 이를 평가에 적용하고 있다. 이 지침은 하드웨어 중심의 무기체계 연구개발에 적용하고 있는 지침이다. 일반 상용 소프트웨어 기술성 평가시 적용하고 정보통신부 고시(2006)의 “소프트웨어 기술성 평가기준”에서는 개발계획부문, 개발부문, 관리부문 등을 포함하여 총 5개 분야로 구분하여 19개의 중항목을 제시하고 있으며 이를 평가에 적용하고 있다.

실제 국방 정보시스템 연구개발사업에 적용한 사례는 A, B, C사업을 분석하였으며, 특징은 하드웨어 중심의 무기체계 지침에서 제시하고 있는 평가항목과 정보통신부 고시(2006)에서 제시하고 있는 평가항목, 그리고 사업의 특성을 반영하여 해당 사업관리팀에서 선정하여 적용하고 있었다. A사업(2008)의 경우에는 개발대상사업 이해도, 기능 및 성능, 전력화지원 및 시험평가, 유사분야 개발경험 등 총 13개의 평가지표를 평가에 적용하였고, B사업(2009)의 경우에는 무기체계 및 구성품 개발성능, 개발대상사업의 이해도, 개발전략, 국산화 및 수출계획, M&S 활용 계획 등 총 11개를, C사업(2009)의 경우에는 개발대상사업의 이해도, 개발전략, 적용기술 확보현황 및 계획, 종합군수지원, 시험평가계획 등 총 11개를 평가에 적용하였다.

미국의 국방연구개발은 국방부, 각군 소속의 연구기관에서 연구개발을 수행하고 있으며, 미 연방정부의 선정평가는 연방획득규정의 기본지침을 준수하고 있다. 평가지표는 시스템엔지니어링, 기술능력, 과거실적, 비용 등을 적용하고 있다(오세홍, 2001).

일본의 경우는 제도적으로 목표평가와 기술평가로 이원화 되어 있으며, 평가의 공정성과 객관성 확보를 위하여 내부와 외부로 나누어 평가하고 있다. 목표평가는 주로 내부에서 수행하고 기술평가는 외부 전문가를 활용하여 평가하고 있다. 이때 평가항목은 필요성, 요구사항의 군사적 합리성, 기술의 합리성, 비용 등을 적용하고 있다(오세홍, 2001).

영국은 다른 요소보다 과학적 우수성을 중시하여 왔으나, 1993년 과학 및 공학기술 백서에서는 과학기술 활동에 대해 과학성, 우수성 이외에 사회적, 산업적 적합성을 강조하고 있다. 평가항목으로는 프로그램 운영조직, 기술분야의 적합성, 프로그램의 국제적 상황 및 정부지원의 적절성 등을 평가의 지표로 활용하고 있다(황용수·김성수, 2000).

2.2.3 분석 및 시사점

평가지표와 관련한 연구를 통해 도출할 수 있는 분석 및 시사점은 다음과 같다. 첫째, 국방 정보시스템 연구개발사업 평가지표 등에 대한 체계적인 연구는 아직 실시되지 않고 있다. 다만, 상용 정보시스템, 국방 핵심기술에 대해서는 일부 연구가 실시되었고, 정부기관에서 적용하고 있는 유사 규정 그리고 국방 정보시스템 연구개발사업 적용사례 등에 관한 일부 자료는 분석할 수 있었다.

둘째, 평가지표는 국가마다, 그리고 국가 내에서도 사업특성과 기관의 정책적 고려사항 등을 반영하여 평가지표를 적용하고 있기 때문에 문헌연구 및 적용사례 등을 통하여 논리적인 국방 정보시스템 연구개발사업 평가지표를 도출하기에는 어려움이 있다는 것이다. 그러나 부분적으로 공통적인 평가지표는 식별할 수 있었다. 이러한 공통적인 평가지표를 바탕으로 국방 정보시스템 연구개발사업의 특성을 반영하기 위하여 이 분야에 대한 전문가 의견을 체계적으로 수렴하는 연구방법을 통해 평가지표 개발이 필요한 것으로 분석하였다.

2.3 AHP기법에 관한 연구

2.3.1 AHP기법 개요

AHP(Analytical Hierarchy Process)는 Saaty (1978)에 개발된 계층분석적 의사결정방법으로 복잡한 의사결정 문제를 계층적으로 분석하여 최적의 대안을 선정하는 기법이다(Saaty, 1978). 세부적인 이론의 완성은 Saaty(1980), Saaty & Vargas(1982)에 다양한 실제 체계 내에서 응용하여 완성되었다(정철용·손동기, 2006). AHP 기법은 의사결정을 위하여 가장 인기 있고 강력한 기법이며, AHP 기법에서는 문제를 계층적으로 분석하여 쌍대비교(pairwise-comparison)를 통해 입력한 자료를 합성하는 방법으로 비구조적이고 전략적인 의사결정에 적합한 방법론이다. 그리고 정략적 요소는 물론 정성적 요소의 평가에도 적합하므로 정보시스템 개발업체 선정과 같은 정성적 요소를 많이 포함하는 의사결정 문제에도 매우 잘 적용된다(장양철·안병석, 2006). 그러나 AHP기법은 새로운 대안이 추가되는 경우 기존 대안들의 순위가 바뀌게 되는 순위전도문제(Rank reversal problem)가 있다. 따라서 AHP를 적용하기 전에 모든 가능한 대안(option)들이 고려되어야 한다(오세홍, 2001).

AHP를 적용한 연구는 제2장의 이론적 배경에서 제시한 김찬수(2008), 장준성(2008), 정선필(2007), 장양철·안병석(2006) 및 박상규(2005) 외에도, 홍태호 외(2008)의 금융기관의 CRM 시스템 선정 연구와 정철용·손동기(2006)의 정보시스템 위험요인 평가를 위한 연구, 그리고 김종기 외(2005)의 안티바이러스 소프트웨어 평가요인 분석 등이 있다.

2.3.2 분석 및 시사점

AHP기법에 관한 선행연구를 통해 도출할 수 있는 분석 및 시사점은 다음과 같다. 첫째, 상용 정보시스템 및 국방 연구개발과 관련한 평가지표를 도출하고 우선순위를 제시하는 많은 연구는 AHP기법을 주로 적용하고 있다는 것이다. 하지만 AHP기법의 단점인 새로운 대안이 추가되거나 삭제될 경우에 순위가 바뀌는 문제를 보완하려는 연구는 미흡한 것을 확인 할 수 있었다. 즉 연구자가 문헌연구를 통해 도출(홍태호 외, 2008; 정선필, 2007; 장양철·안병석, 2006; 박상규, 2005; 김종기 외, 2005)하거나, 일부는 문헌연구와 전문가 의견을 수렴하는 방법 등을 통해 평가지표의 계층적 구조를 도출(김찬수, 2007; 장준성, 2007; 정철용·손동기, 2006)하여 AHP기법을 적용하였다.

둘째, AHP기법을 적용할 경우, 전문가 설문 인원은 홍태호 외(2008)는 42명, 김찬수(2008)는 52명, 장준성(2008)은 22명, 정선필(2007)은 10명, 그리고 박상규(2005) 및 김종기 외(2005)는 12명으로 실시하였다. 이를 통해 AHP기법 전문가 설문은 최소한 10명 이상으로 실시하고 있다는 것을 확인할 수 있었다.

Ⅲ. 연구설계

3.1 연구방법

본 연구에서는 AHP기법의 단점인 순위전도문제를 보완 할 수 있도록 전문가 심층면접 및 전문가 설문 및 요인분석 등 체계적인 절차를 거쳐 객관적인 평가지표를 도출하고자 하였다. 즉 AHP기법을 적용하되, AHP기법의 단점을 보완하기 위하여 국방 정보시스템 연구개발사업 업체선정을 위한 모든 가치를 평가할 수 있도록 치밀한 선행연구와 전문가 심층면접을 통해 누락되거나 중복되는 내용을 보완하여 평가지표를 개발하였고, 이를 다시 요인분석을 통하여 객관성과 완전성을 확보할 수 있도록 검증과정을 거쳤다. 본 연구에서 제안한 연구방법의 특징을 기존의 가용한 방법들과 비교하여 <표 2>에서 제시하였다.

<표 2> 본 연구에서 제안한 연구방법

구 분	특 징	장·단점 비교
브레인스토밍 (Brainstoming)	전문가들의 경험과 직관적인 의견을 종합	간단하고 쉬우나, 전문가의 수준과 이해관계에 따라 편향될 수 있으므로 객관성 부족
델파이기법 (Delphi)	전문가 패널을 구성하고 설문조사를 반복적으로 실시하여 의견을 수렴	설문조사 형식으로 객관성은 확보할 수 있으나 완전성을 보장하기에는 제한
사례조사방법 (Case Study)	평가지표로 활용되고 있는 기존 지표 사례를 조사하여 선별후 활용	평가지표를 용이하게 선정할 수 있으나, 평가지표 선택범위가 기존지표로 한정
분석적 계층 프로세스 (AHP)	계층화된 평가지표에 대한 쌍대비교를 통해 상대적 중요도를 산정	평가지표 대안수가 증가할수록 쌍대비교의 수가 증가하고, 대안이 추가되거나, 삭제될 경우 처음부터 다시 실시해야 하는 제한이 있음.
본 연구의 연구방법	문헌연구, 사례조사, 심층면접을 통한 전문가 의견수렴 및 요인분석, AHP기법 등을 활용한 체계적이고 과학적인 연구 절차 적용	AHP기법의 단점을 보완하고 타 기법의 장점을 반영하여 논리적이고 체계적인 절차를 통하여 객관성과 중복과 누락이 없는 완전성을 갖춘 평가지표 개발 가능

연구수행 절차는 <그림 1>에서 보는 바와 같이, 국방연구개발 관련 국내·외 자료에 대한 문헌조사 및 적용사례 분석을 통해 연구자가 1차로 평가지표를 개발하였고, 1차로 개발된 평가지표에 대하여 전문가 20명과의 심층면접을 거쳐 수정 및 보완을 통해 2차로 평가지표를 개발하였다. 다시 2차로 개발된 평가지표에 대하여 국방연구개발 전문가 114명으로부터 설문조사를 실시하여 신뢰성 및 타당성을 검증하여 평가지표의 계층적 구조, 즉 최종 평가지표를 개발하였다.

최종 개발된 평가지표를 AHP기법을 적용하여 평가지표별 가중치를 산정하여 평가모형을 개발하였고, 마지막으로 연구결과를 분석 및 활용방안을 제시하였다.

양적․질적 연구 : 전문가 AHP 설문

⦁대상: 국방 정보시스템 전문가

⦁방법 : 설문조사, 일관성비율 검토

평가모형 개발

⦁연구결과 분석 및 활용방안 제시

문헌조사 및 적용사례 연구

⦁국내외 문헌 고찰

⦁국방 연구개발관련 적용    사례 등 고찰

질적연구 : 전문가 심층면접

⦁대상: 국방 정보시스템 전문가

⦁방법 : 일대일 면접/토의

양적․질적 연구 : 전문가 설문조사

⦁대상: 국방 연구개발 전문가

⦁방법 : 설문조사, 요인분석

1차 평가지표 개발

수정 및 보완

2차 평가지표 개발

최종 평가지표 개발

평가지표별 가중치 도출

<그림 1> 평가모형 개발 연구수행 절차

3.2 조사대상 및 자료분석

본 연구에서는 2차에 걸쳐 설문조사를 실시하였는데, 1차는 평가지표 개발 및 검증을 위한 전문가 설문을 실시하였고, 2차는 평가지표별 가중치 산정을 위해 전문가 설문을 실시하였다. 1차 설문은 총 114명을 실시하였으며, 전문가는 국방 연구개발사업과 직접적인 관련 업무를 최소 1년 이상 수행한 경험이 있으면서, 동시에 국방 연구개발사업 평가 경험이 있는 공무원, 연구원 및 장교, 그리고 국방 연구개발사업 개발경험이 1년 이상인 방위산업 업체 직원으로 하였다. 2차 설문은 총 31명을 대상으로 실시하였으며 전문가는 국방 연구개발사업과 직접적인 관련이 있는 업무를 3년 이상 수행한 경험이 있고, 국방 정보시스템 연구개발사업의 평가경험이 있는 공무원, 연구원 및 장교를 대상으로 하였다.

1차 설문조사는 평가지표 개발 및 계층화 구조 결정을 위해 평가지표별 중요도 측정(7점 척도) 실시하여 요인분석을 통해 검증하였고, 2차 설문조사는 평가지표별 가중치를 산정하기 위해 Saaty(1978)가 개발한 AHP기법을 9점 척도로 적용하였다.

Ⅳ. 실증분석

4.1 전문가 설문을 통한 평가지표 개발

4.1.1 문헌연구 및 사례분석을 통한 1차 평가지표 개발

연구자가 문헌연구 및 적용사례를 기초로 국방 정보시스템 연구개발사업 업체선정 평가지표를 1차로 개발하였다. 평가기표별 검토 문헌 및 사례는 <표 3>에서 보는 바와 같다.

<표 3> 1차 평가지표 개발시 평가지표별 검토 문헌 및 사례

평가지표	유사 분야 개발 경험	개발 대상 사업 이해도	개발 전략	국산화및 수출 계획	M&S 활용 계획	종합 군수 지원 요소	기능 및 성능	개발방법론	개발환경	사업수행 조직	경영상태	연구인력
김찬수(2008)	√	√	√	√					√	√	√	√
장준성(2008)	√	√	√					√	√	√	√	√
정선필(2007)		√							√	√
장양철·안병석 (2006)	√	√	√				√	√	√	√
박상규(2005)	√						√			√
Kahraman et al. (2009)	√								√	√
Wadhwa & Ravindran(2006)
Feaz et al.(2006)
Choi & Hartley (1996)	√						√				√
Dickson(1966)	√	√	√				√		√	√	√
방위사업청 (2009)	√	√	√	√	√	√	√		√	√	√	√
정보통신부 (2006)	√	√	√				√	√	√	√	√
A사업(2008)	√	√	√			√	√	√	√	√	√
B사업(2009)		√	√	√	√	√	√		√	√	√	√
C사업(2009)		√	√			√				√	√	√
미 국	√	√	√		√
일 본		√	√				√
영 국			√

<표 3> 1차 평가지표 개발시 평가지표별 검토 문헌 및 사례(계속)

평가지표	품질 보증 방안	관리 방법론	일정 관리 계획	비용 관리 계획	시험 평가	교육훈련	유지보수	기밀보안	비상대책	전문 업체 참여	상호 협력	기술 관리 계획
김찬수(2008)			√	√	√
장준성(2008)			√	√						√
정선필(2007)		√									√
장양철·안병석 (2006)		√	√		√	√	√	√	√	√	√
박상규(2005)	√	√		√		√	√	√	√	√	√
Kahraman et al. (2009)	√		√	√			√				√
Wadhwa & Ravindran(2006)	√	√	√
Feaz et al.(2006)	√	√	√
Choi & Hartley (1996)	√		√	√			√		√		√
Dickson(1966)	√	√	√	√		√	√				√
방위사업청 (2009)	√	√	√	√	√			√			√	√
정보통신부 (2006)	√	√	√		√	√	√	√	√	√	√
A사업(2008)	√	√	√		√	√	√	√	√		√
B사업(2009)	√		√	√	√			√	√	√		√
C사업(2009)	√	√	√	√	√			√		√	√	√
미 국		√	√	√							√
일 본			√	√
영 국

문헌연구 및 사례분석을 통해 연구자가 1차로 개발한 평가지표는 총 24개로 <표 4>에 제시하였다.

<표 4> 1차로 개발된 국방 정보시스템 연구개발사업 평가지표

유사분야 개발경험	개발대상사업 이해도	개발전략	국산화 및 수출계획	M&S 활용계획	종합군수 지원요소
기능 및 성능	개발방법론	개발환경	사업수행조직	경영상태	연구인력
품질보증 방안	관리방법론	일정관리계획	비용관리계획	시험평가	교육훈련
유지보수	기밀보안	비상대책	전문업체 참여	상호협력	기술관리계획

4.1.2 전문가 심층면접을 통한 2차 평가지표 개발

문헌연구 및 사례분석을 통하여 1차로 개발한 평가지표를 전문가 심층면접을 통해 2차로 평가지표를 개발하였다. 이때 전문가는 실제 국방 정보시스템 연구개발사업 업체선정 평가 경험이 있고, 국방연구개발 분야 3년 이상인 조건을 갖춘 전문가 20명으로 구성하였다.

전문가 심층면접을 통해 보완된 사항은 다음과 같다. 추가된 평가지표는 국방 정보시스템 연구개발사업의 특성을 반영하기 위해 ‘상호운용성’과 ‘체계통합’이었다. 반면 삭제된 평가지표는 ‘연구인력’은 사업수행조직 평가지표의 세부내용으로 포함되어 삭제되었고, ‘기술관리계획’은 개발전략, 관리방법론, 기능 및 성능에 포함되는 개념으로 판단되어 삭제되었다. 결론적으로 2차로 개발된 평가지표는 총 24개로 <표 5>에서 보는 바와 같다.

<표 5> 전문가 심층면접을 통해 2차로 개발된 평가지표

유사분야 개발경험	개발대상사업 이해도	개발전략	국산화 및 수출계획	M&S활용계획	종합군수 지원요소
기능 및 성능	개발방법론	개발환경	사업수행조직	경영상태	품질보증 방안
관리방법론	일정관리계획	비용관리계획	시험평가	교육훈련	유지보수
기밀보안	비상대책	전문업체 참여	상호협력	상호운용성 (추가)	체계통합 (추가)

4.1.3 전문가 설문조사를 통한 최종 평가지표 개발

(1) 설문지 작성 및 조사집단 분석

전문가 심층면접을 통해 개발된 평가지표에 대하여 계층적 구조의 평가지표를 개발하고 검증을 위해 전문가 설문을 실시하였다. 이때 설문항목은 평가지표 총 24개를 대상으로 하여 아래와 같이 7점 척도로 중요도를 측정하였다.

* 1 : 전혀 중요하지 않다,
2 : 상당히 중요하지 않다,
3 : 중요하지 않다,
4 : 보통이다,
5 : 중요하다,
6 : 상당히 중요하다,
7 : 대단히 중요하다.

평가지표별 세부 평가내용은 연구자가 문헌연구 등을 기초로 초안을 작성하였고, 내용타당도를 검증하는 데는 10명 내외의 전문가의 판단으로 충분하다(Nachmias & Nachmias, 1987)고 알려져 있는 것을 고려하여, 심층면접 대상자를 20명으로 구성하였고 서로 다른 의견에 대해서는 토의를 실시하였다.

전문가 조사집단의 구성은 <표 6>에서 보는 바와 같이, 국방 연구개발관련 전문가 114 명을 대상으로 실시하였다. 이때 전문가 조사집단 선정기준은 국방연구개발 사업과 직접적인 관련 업무를 최소 1년 이상 수행한 경험이 있으면서, 동시에 국방연구개발사업 업체선정 평가 경험이 있는 공무원, 연구원 및 장교, 그리고 국방 연구개발사업 개발경험이 최소 1년 이상인 방위산업 업체 직원으로 설문 집단을 구성하였다. 설문은 직접 방문하여 설문의 취지를 설명하고 설문을 실시하였으며, 이메일을 보완적으로 사용하였다. 설문 기간은 2009년 10월 26일부터 11월 26일까지 실시하였다.

총 114명 중 업체선정 평가업무 및 사업관리를 직접 수행하는 방위사업청 직원이 총 41명(36%)으로 가장 많았으며, 연구개발 전문가로 주로 구성된 국방과학연구소와 국방기술품질원 소속의 연구원은 총 28명(25%)이었고, 실제 운용부대의 의견을 반영하기 위한 합참 및 각군 소속의 장교는 총 18명(16%), 그리고 업체의 의견을 반영하기 위한 업체 전문가는 총 27명(23%)을 대상으로 설문을 실시하였다. 업무경력은 6년에서 10년 사이의 경력자가 36명(32%)으로 가장 많았으며 3년에서 5년 사이의 경력자는 26명(23%)으로 그 다음 높은 비율을 차지하고 있다.

<표 6> 전문가 조사집단의 구성

구 성		빈도(명)	비율(%)
소속 기관	총 계	114	100%
	방위사업청	41	36%
	국방과학연구소 및 국방기술품질원	28	25%
	각군 및 합참	18	16%
	업 체	27	23%
업무경력	총 계	114	100%
	1년 ̴ 2년	8	7%
	3년 ̴ 5년	26	23%
	6년 ̴ 10년	36	32%
	11 ̴ 15년	16	13%
	16 ̴ 20년	11	10%
	21년 이상	17	15%
신분별	총 계	114	100%
	현 역	53	46%
	공무원	8	7%
	연구원	26	23%
	업 체	27	24%

(2) 설문결과 분석

1) 신뢰성 검증

신뢰성 분석은 동일한 개념을 독립된 측정방법으로 측정한 경우 결과가 비슷하게 나타나야 한다는 것을 전제로 하고 있으며 신뢰도는 평가지표의 정확성이나 정밀성을 나타내는 것으로서 의존 가능성, 안정성, 일치성, 그리고 정확성과 동일한 의미를 가진다(채서일, 2003). 일반적으로 가장 널리 사용되는 신뢰도 계수의 하나는 Cronbach's Alpha 이며, Cronbach's Alpha의 일반적인 수용수준은 0.6(강병서·김계수, 2007)을 제시하고 있다. 본 연구에서는 Cronbach's Alpha 계수가 0.913로 신뢰성이 높게 나타났다.

<표 7> 신뢰성 통계

Cronbach's Alpha	Cronbach's Alpha Based on Standardized Items	N of Items
.913	.913	24

2) 타당성 검증 및 요인의 그룹화

<표 8> 평가지표별 요인계수 및 요인 수

평가지표	요인1	요인2	요인3	요인4	요인5	요인6	요인7
비상대책	.796
유지보수	.786
기밀보안	.765
품질보증방안	.591
상호협력	.586
관리방법론	.538
국산화 및 수출계획		.748
개발방법론		.621
개발환경		.607
경영상태		.532
일정관리계획			.777
비용관리계획			.671
시험평가			.447
전력화지원요소				.817
교육훈련				.602
M&S 활용계획				.521
개발대상사업 이해도					.797
개발전략					.691
유사분야 개발경험						.816
전문업체 참여						.743
사업수행조직						.535
기능 및 성능							.774
상호운용성							.693
체계통합							.412

타당성이란 측정하고자하는 개념이나 속성을 측정하기 위해 개발한 측정도구가 그 개념과 속성을 정확히 측정하는가를 나타내는 것으로 측정하려하는 개념이 어떻게 정의되었으며 이 개념적인 조작적 정의가 적절한가를 알아보는 것이다(채서일, 2003). 본 연구에서는 타당성을 검증하기 위하여 탐색적 요인분석(Exploratory Factor Analysis)을 실시하였다. 요인분석은 여러 변수들 사이의 상관관계를 기초로 하여 정보의 손실을 최소화하면서 변수의 개수 보다 적은 수의 요인(Factor)으로 자료변동을 설명하는 다변량 기법으로, 요인으로 묶어지지 않는 중요도가 낮은 변수를 제거하고 동일한 개념을 측정하는 변수들이 동일한 요인으로 묶어지는지를 확인함으로써 타당성을 검증할 때 활용된다(정선필, 2007).

본 연구에서는 국방 정보시스템 연구개발사업 평가지표에 대한 중요도를 묻는 총 24개 항목에 대하여 고유값(Eigen value)을 1로 하여  탐색적 요인분석을 실시하였다. 일반적으로 통계분석에서 유의미한 요인계수는 0.4 이상이면 대체로 수용가능하고 0.5이상은 매우 유의미한 것으로 판단할 수 있다(정선필, 2007; 강병서·김계수, 2007). 본 연구에서의 평가지표별 요인계수는 <표 8>에서 보는 것처럼 모두 0.4이상으로 나타나 타당성을 갖춘 것으로 검증되었으며, 이러한 평가지표들은 모두 7개의 요인으로 그룹화 되었다.

3) 평가요인의 명칭 부여

<표 9> 최종 개발된 평가요인명 및 평가지표

평가요인명	평가지표	평가요인명	평가지표
개발지원	비상대책	전력화 지원요소	종합군수지원요소
	유지보수
			교육훈련
	기밀보안
			M&S 활용계획
	품질보증방안
		사업이해도 및 개발전략	개발대상사업 이해도
	상호협력
			개발전략
	관리방법론
		개발기술 및 조직	유사분야 개발경험
개발기반	국산화 및 수출계획
	개발방법론
			전문업체 참여
	개발환경
			사업수행조직
	경영상태
		개발성능	기능 및 성능
개발관리 및 시험평가	일정관리계획
			상호운용성
	비용관리계획
			체계통합
	시험평가

탐색적 요인분석(Exploratory Factor Analysis)을 통해 최종 선정된 7개 요인에 대하여 요인명을 부여한 결과는 <표 9>와 같다. 요인의 명칭 부여는 각 요인에 높게 적재된 요인들을 중심으로 요인의 명칭을 부여하며 이때 연구자는 해당요인들의 공통적인 특성으로부터 요인의 명칭을 부여(이학식·임지훈, 2008)할 수 있으나, 본 연구에서는 국방 정보시스템 연구개발사업 관련 전문가 6명의 패널토의를 거쳐 명칭을 부여하였다.

최종적으로 국방 정보시스템 연구개발사업 업체선정 평가지표의 계층적 구조는 총 7개의 평가요인과 총 24개의 평가지표로 구성되었으며 세부 내용은 <표 10>과 같다.

<표 10> 최종 개발된 국방 정보시스템 연구개발사업 평가지표

평가요인명	평가지표	세부 평가내용
개발지원	비상대책	백업 및 복구 대책, 장애대응 대책
	유지보수	유지보수 계획 및 조직의 적절성 유지보수 절차 및 범위의 적절성 유지보수 기간의 적절성
	기밀보안	기밀보안 체계의 적절성, 기밀보안 대책의 적절성 기술유출 방지대책의 적절성
	품질보증방안	품질보증계획의 적절성, 품질보증인력의 자질 사업자 품질보증 능력
	상호협력	전문업체와의 의사소통 방안, 중소업체 보호․육성을 위한 법령준수 여부, 소프트웨어산업진흥법에 의한 소프트웨어사업자 신고제도 성실한 이행
	관리방법론	위험관리방안의 적절성, 형상관리방안의 적절성 문서관리의 적절성
개발기반	국산화 및 수출계획	국산화율(부품 및 금액대비) 달성 계획 국산화 실적(핵심기술 및 부품) 수출 제한 사항식별 및 조치계획
	개발방법론	개발절차의 타당성, 개발산출물의 적절성 개발도구와 기법의 적절성 개발방법론의 경험
	개발환경	개발장비 및 시설 보유현황, 미 확보 개발장비 및 시설 확보방안 개발도구(하드웨어, 소프트웨어 등) 보유현황 및 확보방안
	경영상태	재무구조 신용평가기관의 신용도
개발관리 및 시험평가	일정관리계획	세부활동 도출 및 계획의 타당성 세부활동 배열 및 중간목표 설정의 타당성 인력운영 계획의 타당성
	비용관리계획	연구개발비용 산출의 적절성 전력화 및 유지보수 비용의 적절성 비용 절감 방안의 타당성
	시험평가	업체자체시험 및 지원 계획의 적절성 개발시험 평가계획의 적절성 운용시험 평가지원계획의 적절성

<표 10> 최종 개발된 국방 정보시스템  연구개발사업 평가지표(계속)

평가요인명	평가지표	세부 평가내용
전력화 지원요소	종합군수지원요소	종합군수지원요소 판단의 적정성 종합군수지원요소 계획의 적정성
	교육훈련	교육훈련 방법 및 내용의 적절성 교육훈련 일정 및 조직의 적절성
	M&S 활용계획	M&S 추진전략, 단계별 M&S활용계획 M&S 자원관리계획
사업이해도 및 개발전략	개발대상사업 이해도	개발목표 및 내용 이해도, 문제파악의 정확성 업무분석체계의 명확성, 요구체계 설계 및 통합방안
	개발전략	추진전략의 타당성, 소요기술의 분석, 확보기술 현황 및 미 보유 기술 확보계획, 제안기술의 실현가능성
개발기술 및 조직	유사분야 개발경험	개발경험의 유사성, 개발경험 건수 및 시기 개발분야의 규모 및 개발내용
	전문업체 참여	전문업체 기술의 부합성, 전문업체 활용방안의 적절성 전문업체의 신인도
	사업수행조직	조직체계의 적절성, 참여인력의 전문성
개발성능	기능 및 성능	기능 및 성능 요구 충족도, 운용 및 표준 요구 충족도 사용자 편의성 충족도
	상호운용성	연동체계 식별의 적절성, 연동수준 및 연동방안의 적절성, 정보기술 및 데이터 표준화 방안
	체계통합	체계통합 특성 및 통합소요 식별 체계통합 방안의 적절성

4.2 AHP기법을 적용한 가중치 산정

4.2.1 전문가 설문조사

일반적으로 AHP기법을 적용할 경우에 설문의 유효성을 일관성 비율로 판단하는데, 일관성 비율이 0.1 이하이면 응답자의 설문결과는 합리적인 일관성을 갖는다고 할 수 있으며, 일관성 비율이 0.2 이내 이면 용납할 수 있다고 할 수 있다. 그러나 일관성 비율이 0.2 이상일 경우에는 일관성이 부족한 것으로 판단되어 재검토가 필요함을 의미한다(홍태호 외, 2008). 본 연구에서는 전문가 총 31명을 대상으로 설문을 실시하였으며, 이 중에서 일관성 비율이 0.2를 초과하는 4개의 설문을 제외하고 유효한 27개 설문을 분석하였다.

이때 설문은 국방 연구개발사업과 직접적인 관련이 있는 업무를 3년 이상 수행한 경험이 있고, 국방 정보시스템 연구개발사업 평가경험이 있는 전문가를 대상으로 하였다. 이때 쌍대비교는 9점 척도로 하였으며, “1”은 동등하게 중요, “3”은 약간중요, “5”는 강하게 중요, “7”은 대단히 중요 그리고 “9”는 절대적으로 중요한 것을 나타내고 있다. “2”, “4”, “6”, “8”은 가까운 숫자에 근접하게 중요한 것을 나타내고 있다.

4.2.2 가중치 산정 결과

1단계 평가요인에 대한 분석 결과는 <표 11>에서 보는 바와 같이, 전문가들은 ‘개발 성능(0. 2836)’을 국방 정보시스템 연구개발 평가에서 가장 중요한 요인으로 생각하고 있는 것으로 나타났으며, 그 다음으로는 ‘개발기술 및 조직(0.2081)’, ‘사업이해도 및 개발전략(0.1491)’ 등의 순으로 중요하게 생각하고 있었다.

<표 11> 1단계 평가요인 분석 결과

구 분	평가요인	가중치	우선순위
평가요인명	개발지원	0.0884	6
	개발기반	0.1061	4
	개발관리 및 시험평가	0.1019	5
	전력화지원요소	0.0628	7
	사업이해도 및 개발전략	0.1491	3
	개발기술 및 조직	0.2081	2
	개발성능	0.2836	1

평가요인 내에서의 2단계 평가지표 분석결과는 <표 12>에서 확인할 수 있다. ‘개발지원’ 요인에 대한 분석결과는 품질보증방안(0.2234)이 가중치가 가장 높게 나왔으며, ‘개발기반’ 요인에서는 개발방법론(0.3805)이, ‘개발관리 및 시험평가’ 요인에서는 일정관리계획(0.4294)이, ‘전력화지원요소’ 요인에서는 종합군수지원(0.5728)이, ‘사업이해도 및 개발전략’ 요인에서는 대상사업이해도(0.5582)가, ‘개발기술 및 조직’ 요인에서는 유사분야 개발경험(0.5891)이, 그리고 ‘개발성능’ 요인에서는 기능 및 성능(0.4530)이 각각 평가요인 내에서는 가중치가 가장 높게 나왔다. 본 연구를 통해 최종적으로 개발된 평가모형은 <표 12>에 제시 하였다. 이때 최종 평가모형은 1단계에서 쌍대비교를 통해 조사된 요인별 가중치를 2단계 평가요인 내에서의 쌍대비교 결과를 각각의 평가지표들에 적용하여 전체적인 가중치를 산정하여 통합가중치와 우선순위를 도출하였다.

<표 12> 개발된 평가모형

단계	평가요인	가중치	순위	단계	평가지표	가중치	순위	최종 결과
								통 합 가중치	통 합 우선순위
1단계	개발지원	0.0884	6	2단계	비상대책	0.1134	6	0.0100	24
					유지보수	0.2083	2	0.0184	17
					기밀보안	0.1236	5	0.0109	23
					품질보증방안	0.2234	1	0.0198	15
					상호협력	0.1609	4	0.0142	20
					관리방법론	0.1704	3	0.0151	18
	개발기반	0.1061	4	2단계	국산화 및 수출계획	0.1399	4	0.0148	19
					개발방법론	0.3805	1	0.0404	10
					개발환경	0.2993	2	0.0318	12
					경영상태	0.1803	3	0.0191	16
	개발관리 및 시험평가	0.1019	5	2단계	일정관리계획	0.4294	1	0.0438	7
					비용관리계획	0.2953	2	0.0301	13
					시험평가	0.2753	3	0.0280	14
	전력화 지원요소	0.0628	7	2단계	종합군수지원	0.5728	1	0.0360	11
					교육훈련	0.2022	3	0.0127	22
					M&S활용계획	0.2250	2	0.0141	21
	사업이해도 및 개발전략	0.1491	3	2단계	대상사업이해도	0.5582	1	0.0832	4
					개발전략	0.4418	2	0.0659	5
	개발기술 및 조직	0.2081	2	2단계	유사분야 개발경험	0.5891	1	0.1226	2
					전문업체참여	0.2099	2	0.0437	8
					사업수행조직	0.2010	3	0.0418	9
	개발성능	0.2836	1	2단계	기능및성능	0.4530	1	0.1285	1
					상호운용성	0.2272	3	0.0644	6
					체계통합	0.3198	2	0.0907	3

4.3 결과분석 및 활용방안

본 연구를 통해 총 7개의 평가요인과 24개의 평가지표를 개발되었고 평가지표별 가중치를 산정하여 우선순위를 도출하였다. 총 24개의 평가지표 중에서 ‘기능 및 성능(0.1285)’이 가중치가 가장 높게 나왔으며, ‘유사분야 개발경험(0.1226)’, ‘체계통합(0.0907)’, ‘대상사업이해도(0.0832)’ 순으로 가중치가 높은 것으로 나왔다.

이는 무엇보다는 개발하고자 하는 정보시스템의 ‘기능 및 성능’을 만족하여야하고, 이를 성공적으로 개발하기 위해서는 ‘유사분야 개발경험’이 중요하다는 것을 보여주고 있다. 또한, ‘체계통합’은 국방 정보시스템 연구개발사업은 독립적으로 운용되는 체계가 아닌 다양한 무기체계, 정보수집수단 및 타격체계 등이 상호 연동되어 운용되는 시스템으로 국방 정보시스템 연구개발사업의 특성이 반영된 것이다. 그리고 ‘상호운용성’, ‘개발방법론’, ‘유지보수’ 등은 국방 정보시스템 연구개발사업이 소프트웨어 중심의 연구개발사업이라는 특성이 반영된 결과이며. ‘시험평가’, ‘종합군수지원’은 국방 분야의 특성이 반영된 것이다. ‘국산화 및 수출계획’, ‘M&S활용 계획’은 정부의 정책적 추진사항이 반영된 평가지표이다.

새롭게 개발된 국방 정보시스템 연구개발사업 업체선정 평가모형에 대하여 다음과 같이 활용방안을 제시 한다.

첫째, 현재 국방 정보시스템 연구개발사업 업체선정 평가시 평가지표를 선정 할 경우에 적용이 제한되는 하드웨어 중심의 무기체계 연구개발 제안서 평가지침(방위사업청, 2009)에서 평가지표를 부분적으로 적용하고 있는데, 이제는 본 연구에서 개발한 평가지표를 활용한다면, 현재보다 국방 정보시스템 연구개발사업의 특성을 반영하는 평가를 실시할 수 있게 되어 결국 객관적이고 공정하게 평가가 이루어지는데 기여할 것이다.

둘째, 최근에는 하드웨어 중심의 무기체계도 소프트웨어 비중이 증가하는 추세다. 따라서 본 연구에서 제시한 평가지표를 사업의 특성을 반영하여 선별적으로 적용한다면 평가에 크게 도움이 될 것이다. 또한 방위력개선사업비를 통해 개발하는 정보시스템 연구개발사업이 아닌 일반 정보화사업의 업체선정 평가시에도 활용할 수 있을 것이다.

셋째, 본 연구에서 적용한 평가모형 개발 절차 및 방법은 다른 유사한 평가지표를 개발하는 데에도 유용하게 활용 될 것이다. 즉 문헌연구 및 사례분석 등을 통한 평가지표를 도출하고, 이를 다시 전문가 심층면접 통해 평가지표를 수정 및 보완을 실시하였다. 그리고 전문가 114명에 대한 설문을 실시하여 요인분석을 통하여 검증하였으며, 최종적으로 AHP기법을 적용하여 전문가의 의견을 반영하여 평가지표별 우선순위를 제시하는 체계적인 연구방법을 적용하였기 때문이다. 즉 AHP기법의 단점인 평가지표가 추가 되거나 삭제될 경우에 순위전도문제를 해결하기 위하여 AHP기법을 적용하기 전에 전문가의 의견을 체계적으로 반영하는 연구방법을 적용하였다.

Ⅴ. 결 론

국방 정보시스템 연구개발사업 업체선정 과정은 전력증강 사업의 성패를 좌우하는 중요한 과정으로, 우수한 기술력을 갖춘 업체가 선정될 수 있도록 객관적인 평가지표 및 기준을 설정해야 하고, 설정된 평가지표 및 기준에 근거하여 전문가에 의해 투명하게 이루어져야 한다.

하지만 경쟁이 치열한 국방 정보시스템 연구개발사업 업체선정과 관련하여 탈락한 업체에서 민원은 물론 법정소송까지 제기하고 있어 때로는 전력증강 사업이 차질을 빚는 사례가 발생하고 있다. 이러한 상황에서 이 분야에 대한 연구가 미흡한 현실을 반영하여 공정하고 투명한 업체선정 평가가 이루어지는데 기여하고자 국방 정보시스템 연구개발사업 평가모형을 개발하였다.

기존 유사연구와 구별되는 본 연구의 특징과 새롭게 개발된 국방 정보시스템 연구개발사업 업체선정 평가모형의 시사점은 다음과 같다.

첫째, 논리적이고 체계적인 연구개발 평가지표 개발을 위한 연구방법을 제시하였다. 연구개발 평가에서 매우 난해한 주제로 인정되고 있는 평가지표를 과학적이고 체계적으로 개발하기 위해 치밀하게 문헌연구 및 적용사례를 분석하였으며, 전문가의 심층 면접 및 요인분석을 통해 객관적인 평가지표의 계층적 구조를 개발하였다. 마지막으로 전문가의 의견을 과학적으로 수렴하는 AHP기법을 적용하여 평가지표별 가중치를 산정하여 우선순위를 제시하였다.

둘째, 새롭게 개발된 평가모형은 국방 정보시스템 연구개발사업의 특성과 연구개발 환경을 적절하게 반영하고 있는 것으로 분석되었다. 즉 국방 정보시스템 연구개발사업이 소프트웨어 중심의 무기체계라는 특성과, 군의 특성 및 정책적 고려사항 등이 반영되어 총 7개의 평가요인과 24개의 평가지표 개발되었고 평가지표별 가중치를 산정하여 우선순위를 제시하였다.

셋째, 본 연구를 통해 새롭게 개발된 평가모형을 활용하면 국방 정보시스템 연구개발사업 업체선정 평가의 객관성과 평가에 대한 신뢰도가 증가할 것으로 판단된다. 특히, 설문조사 표본을 연구개발 관련기관, 실제로 평가를 수행하는 평가기관과 피평가 기관인 업체의 담당자를 포함시켜서 이해관계자의 의견이 다양하게 수렴되어 평가모형 개발의 객관성을 제고하도록 하였다.

현재 국방 정보시스템 연구개발사업 업체선정 평가에 대한 중요성에 비해 그 연구는 미흡한 실정이다. 따라서 업체선정 과정에서 공정성과 투명성을 제고시키기 위하여 이 분야에 대한 연구가 체계적으로 이루어져야 한다. 이를 위해서는 평가지표 및 평가지표별 배점이 업체선정 과정에 어느 정도 영향을 미치는지를 정량적으로 분석이 가능하도록 관련 자료를 체계적으로 관리하여야 할 것이다. 또한 평가지표 및 평가지표별 배점은 연구개발 환경변화 및 사업의 특성에 따라 지속적으로 발전시켜 나가야 할 것이다. 특히 사업관리자의 주관성을 최대한 배제하고 업체선정 과정의 이해당사자들이 상호 공감할 수 있도록 객관성과 신뢰성을 제고시키는 방향으로 연구되어야 한다.

참고문헌

Ⅰ. 국내문헌

강병서, 김계수, 한글SPSS 12K 사회과학 통계분석, 한나래, 2007.

국방부, 국방전력발전업무규정, 2009.

권태영, “새로운 도약을 위한 국방 연구개발 및 방산 패러다임 재정립,” 한국국방연구원, 2005.

김종기, 황숙연, 이동호, “AHP 기법을 이용한 안티바이러스 소프트웨어 평가요인 분석,“ 정보시스템연구, 제14권, 제1호, 2005, pp. 19-40.

김찬수, “국방핵심기술 연구개발의 제안서 평가지표 개발에 관한 연구,” 부산대학교 박사학위논문, 2008.

문태수, 강성배, “환경, 조직, 정보시스템 요인이 공급사슬관리(SCM) 시스템의 균형적 기업 성과(BSC)에 미치는 영향연구,” 정보시스템연구, 제17권, 제2호, 2008, pp. 1-26.

박상규, “AHP를 이용한 정보시스템 아웃소싱 업체 선정에 관한 연구,” 연세대학교 석사학위논문, 2005.

방위사업청 지침 제2009-53호, “무기체계 연구개발사업 제안서 평가 및 협상지침,” 2009.

송운호, 강석중, 이원희, “전장관리정보체계 사업관리 절차 연구,” 광운대학교 산학협력단, 2009.

어하준, 박수현, 고병성, 이현무, “업체선정 방법/기준 및 우선순위 결정 후 협상타결 기준 연구,” 한국국방연구원, 2006.

오세홍, “국가 연구개발 프로그램 평가를 위한 기법, 제도의 선진화 방안,” 한국과학기술기획평가원, 2001.

이학식, 임지훈, SPSS 14.0 매뉴얼, 법문사, 2008.

장양철, 안병석, “AHP를 이용한 정보시스템 개발업체 선정에 관한 연구,” 한국 IT 서비스학회지, 제5권 제3호, 2006, pp. 187-200.

장준성, “AHP를 이용한 국방 핵심기술 연구개발사업 업체선정 평가지표 개발,” 충남대학교 박사학위논문, 2008.

정보통신부 고시 제2006-16호, “소프트웨어 기술성 평가기준,” 2006.

정선필, “AHP기법을 통한 IT 아웃소싱 수행업체 평가방법론,” 충북대학교 박사학위논문, 2007.

정철용, 손동기, “AHP기법을 활용한 정보시스템 개발 프로젝트 위험요인 평가에 관한 탐색연구,” 정보시스템연구, 제15권, 제2호, 2006, pp. 77-93.

조재준, “한국적 네트워크 전장관리체계 구축방안에 관한 연구,” 국방대학교 석사학위논문, 2002.

채서일, 사회과학 조사방법론, 비엔엠북스, 2003.

홍태호, 김은미, 서보밀, “AHP를 이용한 금융기관의 CRM 시스템 선정,” 정보시스템연구, 제17권, 제2호, 2008, pp. 137-154.

황용수, 김성수, “정부연구개발프로그램 평가체계의 비교분석과 향후 평가체계 구축방안,” 과학기술정책연구원, 2000.

Ⅱ. 국외문헌

Choi, T.Y., and Hartley, J.L., "An Exploration of supplier Selection Practices Across The Supply Chain," Journal of Operation Management, Vol. 14, 1996, pp. 333-343.

Dickson, G.W., "An analysis of vendor selection systems and decisions," Journal of purchasing, Vol. 2/1, 1966. pp. 5-17.

Faez, F., Ghodsypour, S.H., O'Brien, C., "Vendor selection and order allocation using an integrated fuzzy case-based reasoning and mathematical programming model," International journal of production economics, 2006, pp. 1-14.

Kahraman, C., Engin, O., Kabak, O., Kaya, I., "Information systems outsourcing decisions using a group decision-making approach," Engineering Applications of Artificial Intelligence, Vol. 22, 2009, pp. 832-841.

Nachmias, C.F., and Nachmias, D., "Research Methods in the Social Sciences," Worth Publishing, 1987.

Saaty, T. L., “Modeling Unstructured Decision Problems-The Theory of Analytical Hierarchies," Mathematics and Computers in Simulation, 1978, pp. 147-158.

Saaty, T. L., The Analytic Hierarchy, McGraw-Hill, New York, 1980.

Saaty, T. L., and Vagas, L. G., The Logic of Priorities, Applications in Business, Energy, Health, Transportation, Klwer-Nijhoff Publishing, Boston, 1982.

Saaty, T. L., "How to Make Decision : The Analytic Hierarchy Process," European Journal of Operational Research, Vol. 24, 1990.

Wadhwa, V.A., and Ravindran, R., "Vender selections in outsourcing," Computers & Operations Research, Vol. 34, 2007, pp. 3725-3736.

김선영(Sun-Young Kim)

저자 김선영은 육군사관학교 전자공학사, Oklahoma State Univ. 전자공학석사, 동국대학교 경영정보학과 박사과정을 수료하였다. 주로 국방 방위력개선분야 직위에 근무하였으며, 현재는 방위사업청에서 근무 중이다. 주요 관심분야는 국방 R&D, 평가관리, 모델링&시뮬레이션, 사업관리 등이다.

이영재(Young-Jae Lee)

저자 이영재는 동국대학교 경영학사, George Washington Univ. 경영정보학 석사 및 박사학위를 취득하였다. 현재 동국대학교 경영정보학과 교수로 재직 중이며, 한국데이터베이스학회 회장, 한국BCP협회 회장 등을 역임하였다.

주요 연구분야는 재난관리, 의사결정, BCP 등이다.

<Abstract>

A Study on the Evaluation Model for Company Selection of Defense Information System R&D Projects

Sun-Young Kim․Young-Jae Lee

This study shows the scientific and systematic Evaluation Model using factor analysis and AHP methods for the success of defense Information System R&D projects.

The evaluation model was divided into 7 evaluation factors such as Developing support, Developing infrastructure, Developing management and test & evaluation, Support factors for strength, Understanding & developing strategy, Developing technology & organization, and  Developing  performance. And those were composed of totally 24 low level Evaluation index.

The Developed  Evaluation Model in the paper could be contributed more to objectively and transparently company selection of defense Information System R&D and other defense R&D Projects in the future.

Key Words : Defense R&D, Information System, Evaluation Model, AHP

* 이 논문은 2010년 4월 2일 접수하여 1차 수정을 거쳐 2010년 5월 25일 게재 확정되었습니다.