｢정보시스템연구｣ 제18권 제3호

한국정보시스템학회

2009년 9월, pp. 111～134

언어적 프로토콜 분석을 이용한

쇼핑몰 웹사이트 사용성 측정방법에 관한 연구

* 중앙대학교 대학원 경영학과 박사과정 수료 (주저자), hwicho@hanmail.net

** 중앙대학교 경영대학 경영학부 교수(공동저자), ihong@chungang.edu

조휘형*․홍일유**

			<목 차>
Ⅰ. 서론 Ⅱ. 이론적 배경 2.1 웹사이트 평가 2.2 언어적 프로토콜 분석 2.3 웹사이트 평가를 위한 VPA의 응용 Ⅲ. 연구방법 3.1 연구의 방법 3.2 조사의 절차 3.3 설문 항목				Ⅳ. 연구의 결과 4.1 회상과 관찰 설문조사 결과 비교 분석 4.2 설문조사 결과에 대한 원인추적을 위한 VPA분석 Ⅴ. 결론 및 제언 5.1 결론 5.2 연구의 시사점 및 한계점 참고문헌 <Abstract>

Ⅰ. 서 론

2008년 01월 통계청 발표에 따르면 2007년 11월 사이버 쇼핑몰의 거래액은 약 1조 4,500억 원으로 전년 동월대비 16.3% 증가하였다 (www.nso.go.kr, 2008). 이러한 성장세는 다음과 같은 요인들에 의해 지속될 것이다. 우선, 정보통신 기술의 발달로 다양하고 상세한 상품정보의 전달이 가능해지고 있다. 정보통신 기술의 발달은 사이버 거래방식의 태생적 약점인 비대면 접촉에 의한 불확실성을 해소하는데 많은 기여를 하고 있다. 또한 Pavlou & Gefen(2004)는 에스크로서비스와 같은 제도적 절차를 이용하여 온라인 판매자의 신뢰를 쌓을 수 있다고 하였다. 그리고 김규태(2008)는 종합몰과 전문몰은 오픈 마켓의 두드러진 성장과 추격을 따돌리기 위해 상대적으로 높은 신뢰성을 바탕으로 전통적 플랫폼과 시너지를 낼 수 있도록 집중 할 것이라고 하였다. 웹사이트의 영향력은 지속적으로 증대되고, 인터넷 매체를 이용한 상품과 정보의 거래는 필수적인 거래방식이 될 것이다.

인터넷 쇼핑몰 및 웹사이트의 양적, 질적 성장 속에서 많은 연구자들은 웹사이트 평가를 위한 다양한 측정방법과 측정도구를 개발하였다. 기업들은 자사 웹사이트의 가치, 품질, 효과 등을 높이기 위해 많은 시간과 노력을 투자하고 웹사이트 평가 및 개선작업을 하고 있다. 그러나 현실적으로 이러한 평가를 통해 개선된 웹사이트가 이용자들에게 반드시 만족스럽다고 장담하기는 어렵다. 웹사이트의 사용성을 정확히 분석 및 평가할 수 있는 방법을 적용하지 않은 경우, 사이트 진단 결과에 대해 의심의 여지가 있기 때문이다.

	언어적 프로토콜 분석을 이용한 쇼핑몰 웹사이트 사용성 측정방법에 관한 연구

｢정보시스템연구｣ 제18권 제3호, 2009년 9월

오늘날 인터넷 쇼핑몰을 비롯해 대다수의 기업 및 공공기관 웹사이트들의 효과성을 측정하기 위해 가장 많이 쓰이고 있는 방법은 과거 경험에 기초한 이용자 만족도 조사이다. 과거 회상 설문지법에 의존하는 이용자 만족도 조사는 사이트의 다양한 측면과 관련한 사용자의 인식을 파악하는데 초점을 두는 반면, 사용자들이 측정 질문에 왜 그렇게 답을 했는지, 사용자들이 이용하면서 어떤 점이 불편하였는지, 혹은 어떤 점이 좋았는지 등과 같은 상세한 정보들을 파악할 수 없는 것이 주된 약점으로 지적되고 있다. 즉 포괄적이고 개념적인 측정 항목들에 의한 평가 결과는 실제적 근거와 원인이 무엇인지를 이해하는 데는 한계가 있음을 의미한다. 본 연구에서는 이러한 설문기법의 한계를 극복하기 위하여 평가에 대한 관련 근거나 원인, 영향을 미치는 요소 등에 관한 정보를 실시간으로 직접 얻기 위하여 설문조사와 관찰조사의 2가지 조사방법을 병행하였다. 현장 관찰에 의한 조사방법은 사용자들이 단순하게 과거 경험에 관한 기억을 되살려 시스템에 대해 평가하기 보다는 해당 쇼핑몰을 실제로 둘러보며 관찰하면서 개별 측면에 대해 인식한 점을 표현하도록 유도함으로써 보다 상세하고 풍부한 정보를 획득할 수 있기 때문이다.

웹사이트 평가에 관한 연구는 대부분 사용자 회상에 의한 설문조사법(가령, 변대호, 2007; 유일 외, 2005; Bunz, 2001; Muylle et al., 2004) 혹은 전문가 직접조사법(가령, Liu & Arnett, 2000; Nantel et al., 2005; Nielsen, 2000; Telleen, 2001)에 초점을 두는 반면, 실시간 관찰법(가령, Sample, 2004; Benbunan-Fich, 2001)에 의한 평가방식을 다루는 연구는 부족한 실정이다. 본 연구는 웹사이트 사용성 측정을 위한 자료수집 방법으로서 회상법과 관찰법 간의 차이를 파악하고, 이를 실증적으로 검증하는데 그 목적이 있다. 또한 이제까지 고려하지 않았던 두 가지 자료수집 방식을 연동해 상승효과를 높이도록 활용함으로써 사용자가 현실적으로 직면한 웹사이트에 대한 태도와 생각을 폭넓고 심층적으로 이해할 수 있음을 밝히는 데 초점을 두고 있다. 이러한 연구목적을 달성하기 위해 다음의 세부 연구목표를 설정하였다.

첫째, 웹사이트의 사용성 측정을 위한 일반적인 자료수집 방법으로 사용자의 과거 사이트 이용경험의 회상에 의한 설문조사 방법과 사이트의 실시간 관찰에 의한 설문조사 방법과의 차이를 정량적 분석을 통해 실증적으로 검증하고자 한다.

둘째, 정량적 분석을 통해 밝혀진 만족항목 및 불만족항목들을 토대로 이들에 대한 원인들을 정성적 분석방법으로 규명하고자 한다. 이를 위해 사고 구술(Think-Aloud)에 의한 언어적 프로토콜 분석(이하 VPA: Verbal Protocol Analysis) 방법을 사용한다. Benbunan-Fich(2001)에 의하면 VPA는 기술수용모델(TAM)에서 객관적인 유용성, 직접경험, 그리고 지각된 사용 용이성 등 3가지 개념의 상호작용을 연구하는데 매우 좋은 기법중의 하나라고 하였다. 이러한 통계적 검증에 의한 정량적 분석과 VPA에 의한 정성적 분석의 결과는 소비자와 웹사이트의 상호작용성과 소비자행위를 실질적으로 이해하고 학문적 이론과 실무적 활용에 중요한 기여를 할 것이다.

Ⅱ. 이론적 배경

2.1 웹사이트 평가

웹사이트 평가모형과 관련한 기존 연구는 대부분이 웹사이트의 효과성을 측정하는데 필요한 차원 혹은 척도들을 규명하는데 초점을 두고 있다(DeLone & McLean, 1992, 2003; Molla & Licker, 2001; Telleen, 2001). 일부 연구자들은 도서관리 관점에서 사이트의 품질을 평가할 수 있는 요인들을 제시하는 반면, 다른 연구자들은 기업 웹사이트를 찾는 고객 관점에서 사이트의 평가요인들을 규명하고 있다.

우선 Smith(1997)는 주로 사용자 개개인을 대상으로 하기보다는 도서관의 이용측면에서 적용될 수 있는 평가 기준으로 영역, 내용, 그래픽 및 멀티미디어 설계, 목적, 리뷰, 실행가능성, 비용을 제안하였다. Susan(1997)은 질적인 측면에서 웹사이트를 "the good, the bad, the ugly"의 세 가지로 분류, 이를 평가하는 요인으로는 정확성, 저작성, 객관성, 최신성 및 범위를 제시하였고, Edward(1998)은 이용자가 인터넷상의 수많은 정보로부터 어떻게 유용한 정보를 탐색하고 선택 하는가를 측정하기 위한 기준으로서 접근성과 품질 및 사용의 편리성을 제안하였으며, 이중에서 품질은 저작성과 콘텐츠로 구성된다고 하였다. Huizingh(1997)은 웹사이트의 능력을 분석하고 평가하기 위한 프레임워크를 개발하였다. 이 프레임워크는 콘텐츠와 디자인으로 나누어져 있으며, 콘텐츠는 웹사이트에서 제공하는 정보, 특성 또는 서비스이며, 디자인은 웹사이트 방문자가 이러한 콘텐츠를 활용할 수 있는 방법이라고 정의하였다. 끝으로 White(2005)는 콘텐츠, 정보구조 및 내비게이션, 비주얼 디자인, 기능, 상호작용성, 그리고 이용경험의 질의 여섯 가지 요인으로 구성된 사이트 평가프레임워크를 제안하였다. 이들의 연구에서는 참고자료를 온라인으로 제공하는 사이트들의 주된 관건으로서 콘텐츠를 특히 강조하고 있다.

한편, 고객관점에서 기업 웹사이트의 품질요소를 탐색하는데 주안점을 두는 연구들도 많다. Ho(1997)는 웹사이트의 고객가치창출을 중심으로 적시성, 고객특성과 같은 요소들을 중시하였다. Shen(2009)은 여행사 웹사이트의 핵심 품질요인으로서 정보품질, 인프라 지원, 사용자 신뢰, 온라인 서비스, 그리고 웹사이트 외관을 제시하였다. Liu & Arnett(2000)는 웹사이트의 성공에 영향을 주는 요인으로 정보의 품질, 학습가능성, 흥미성, 시스템품질, 시스템 사용, 서비스 품질을 제시하고 'Fortune 1000대 기업'의 웹마스터를 대상으로 조사를 실시하였다. 그 결과 이들은 성공적인 웹사이트가 되기 위한 요인으로 정보와 서비스의 품질, 시스템의 사용, 흥미성, 그리고 시스템 디자인을 제시하고 있다. 이재관(2000)은 커뮤니티 요소를 고려하는 웹사이트 평가에 관한 연구에서 웹사이트 평가요소를 기술적 요소와 커뮤니티 관련 요소로 구분하였다. 김진수, 임세헌(2001)의 연구에서는 온라인 주식거래 사이트의 평가에 있어 비즈니스 기능을 중심으로 웹사이트 평가를 하였다. 이외에도 유용성 관련 연구를 살펴보면, 유일 외(2005)는 사용자가 쉽게 웹을 배울 수 있도록 하는 사용용이성은 웹사이트에서 매우 중요한 역할을 한다고 주장하였다. 변대호(2007)는 웹사이트 방문자들이 만족을 느끼고 지속적인 방문이 이루어지도록 개선하고 평가 되어야 하며 이러한 관점에서 중요한 원칙은 웹사이트 유용성이라고 하였다.

위 선행연구들이 제시하고 있는 웹사이트 품질의 평가요인들은 연구자의 시각에 따라 서로 다른 용어들로 표현되고 있기는 하나, 결국 이 요인들이 뜻하는 사이트 요소들은 대동소이하다. 홍일유·정부현(2000), 박은아(2002), 한국웹사이트평가개발원(2008) 등은 기존 관련연구를 종합할 때 이들 척도들은 콘텐츠, 커뮤니티, 커머스, 디자인, 테크놀러지의 5가지 평가부문으로 나뉜다고 제안하고 있다. 3C-D-T(Content, Community, Commerce, Design, Technology) 모델이라고도 불리는 이 프레임워크에서는 오늘날 상업적 웹사이트의 효과성을 이들 다섯 가지의 각 부문과 관련한 척도들을 통해 측정할 수 있음을 주장하였다. 본 연구에서는 웹사이트 특성 도출을 위하여 이 3C-D-T모델을 웹사이트 분석의 개념적 프레임워크로 사용하였다.

2.2 언어적 프로토콜 분석

언어적 프로토콜 분석(Verbal Protocol Analysis: VPA)이란 인간 피실험자가 인지적 과업으로서 문제 해결작업을 수행하는 중에 그들의 머릿속에 떠오르는 생각들을 구술 적으로 보고 하도록 하여 그것을 데이터로 사용하여 분석하는 기법이다. 구술보고(verbal reporting) 방법이란 피실험자가 작업과정 중에 사고하고 행동하는 모든 것을 작업과 동시에 소리 내어 말하는 사고 구술(Think-Aloud) 방식에 기초한다. 구술보고에 의한 프로토콜 분석법이 갖는 중요한 의미는 현재까지 알려진 인지실험 기법 중에서는 가장 밀도 있는 정보를 얻어낼 수 있다는 점이다. 이러한 정보는 물리적인 측정 자료가 아닌 실제 두뇌 속에서의 인지작용이 직접적으로 투영되고 있는 데이터이다(이명식 외, 1995).

언어적 프로토콜의 종류는 동시적(concurrent verbalization) 프로토콜 방법과 회상적(retrospective verbal reports) 프로토콜 방법 등 두 가지 형식으로 나누어 볼 수 있다(Kuusela & Paul, 2000). 동시적 프로토콜 방법은 실험과정 중 피실험자가 주어진 과업을 수행하면서 동시에 자신의 머릿속에 떠오르는 생각을 소리 내어 말하도록 하는 방법이다. 그 당시 행위나 생각을 실시간으로 나타내 주기 때문에 비교적 정확한 정보를 취득할 수 있다. 반면, 회상적 프로토콜 방법은 과업과는 별도로 실험이 끝난 후에 피실험자가 비디오를 보면서 당시의 상황이나 내용을 회상하며 표현하도록 하는 방법이다. 전체 내용들이 회상에 의해 구성되거나 상기되면서 내용을 새롭게 알 수 있는 특징을 갖고 있다.

언어적 프로토콜 분석은 디자이너의 디자인 프로세스와 사고과정을 이해하기 위한 방법으로 사용되고 있다. 문제해결로부터 학습전략, 디자인과정 중의 인지적 행위들의 다양성의 이해와 연구를 위해 인지과학 분야에서 사용하기 시작했다(Atman & Turns, 1999). 이러한 방법은 1970년대부터 건축, 산업디자인, 기계공학, 소프트웨어디자인 등의 분야에서 디자인프로세스의 인지적 과정 또는 창의적 과정 등을 추적하기 위한 방법의 하나로 연구되었다. 디자인개발과정 또는 사용성 평가 과정에서 사용자들의 프로토타입에 대한 평가를 수행하고 그 당시 얻어진 실제 이용과정에 대한 자료를 분석하여 개발과정에 활용된다(진선태, 2007).

2.3 웹사이트 평가를 위한 VPA의 응용

VPA는 사용자가 웹사이트를 통해 특정 과업을 수행하는 과정에서 접하게 되는 사이트 관련 느낌, 아이디어, 혹은 문제점을 말로서 표현하게 함으로써 적은 수의 피실험자들로 부터 중요한 자료를 얻기 위한 목적으로 응용할 수 있다. Todd & Benbasat(1987)은 VPA를 통해 얻을 수 있는 정보의 양이 풍부하기 때문에 흔히 2와 20 사이의 적은 샘플 수로도 인간의 사고과정에 관한 깊이 있는 분석이 가능하다고 주장하였다. Nielsen(2000)은 다섯 명의 피실험자에게서 사이트 유용성 문제의 80%를 밝힐 수 있다고 하였다. VPA를 이용한 연구는 실증적 연구에서 소수의 피실험자를 대상으로 이루어지고 있음을 알 수 있다.

웹사이트 관련 VPA 연구 대부분이 웹사이트의 사용성(usability) 평가에 초점을 맞추고 있다. Benbunan-Fich(2001)는 VPA 기법을 이용해 상업적 웹사이트의 사용성을 분석하였다. 사용자들은 전자카드 웹사이트에 접속해 사이트를 이용하면서 사고를 구술하였다. 사고구술 분석을 통해 지나치게 빽빽한 컨텐츠, 엉성한 내비게이션, 그리고 미흡한 상호작용성과 같은 사용성 관련 문제점들이 존재한다는 사실을 밝혀냈다.

Muylle 외(2004)는 웹사이트 사용자만족 개념을 정의하는데 필요한 정보를 수집하기 위한 수단으로서 VPA 기법을 이용하였다. 본 조사에 앞서 예비조사에서 사용자만족 개념과 관련한 중요한 항목들을 추출하기 위해 사고 구술기법을 이용해 탐색적 연구를 실시하였다. 운송서비스 회사의 전문요원 14명을 대상으로 하였으며, 방법 1(동시보고: concurrent reporting)에서는 웹사이트를 방문하여 평가하고 방문하는 동안 생각나는 것을 모두 말하도록 주문하였고, 방법 2(회상보고: retrospective reporting)에서는 사고 구술 없이 과업을 수행 후 응답자가 자신의 비디오를 보면서 구술 보고를 실시하였다. VPA 방법을 이용해 결정된 웹사이트 사용자 만족 개념의 세부 요소들은 본 조사의 이메일 설문조사를 통해 수집된 실증 데이터를 분석함으로써 검증되었다.

Nantel 외(2005)는 웹사이트의 교착상태(dead-ends; 정보를 찾는 노력이 실패로 끝나는 상황)가 사이트 사용성에 중요한 영향을 미친다고 보고, 그 영향관계를 분석하는데 필요한 데이터의 수집을 위해 사고 구술 방법을 사용하였다. 교착상태가 빈번하게 발생할수록, 페이지 방문이 줄어든다는 가설을 테스트할 목적으로, 연구의 변수인 교착상태 수와 방문한 페이지 수를 비디오 파일의 분석을 통해 측정하였다. 조사결과, 온라인 쇼핑시 소비자가 경험하는 교착상태 수와 웹사이트 사용성 간에는 부의 관계가 존재하는 것으로 나타났다. Bunz(2001)은 사이트 사용성 연구 및 이용충족이론을 바탕으로 사용자들이 웹사이트를 이용하는 방법 및 이유를 조사하였다. 조사는 전문가 7명과 비전문가 8명을 이용해 동일한 테마의 3개의 사이트를 대상으로 실시하였다. 전문가 집단의 평가는 개인적 기준에 근거하여 탐색하고 평가를 하였으며, 특별한 과업은 주어지지 않았으며 총 10개의 질문에 응답하도록 하였다. 비전문가 집단의 평가는 사고 구술조사를 실시하여 비디오 녹화를 하였으며, 실험 후에는 사이트의 용이성, 콘텐츠, 그리고 전체적인 느낌 등에 관한 질문에 대해 답을 하도록 하였다. 조사결과를 바탕으로, 이 연구는 전문가와 비전문가의 사이트 평가는 서로 상반적일 수 있으며 또 웹 사용성은 객관적인 사이트 특징보다는 사용자의 주관적인 지각에 의해 좌우된다고 결론지었다.

Sample(2004)는 뇌에 외상(Traumatic Brain Injury, 이하 TBI)을 갖고 있는 사람의 정보요구를 충족하기 위한 웹사이트의 평가방법에 대해 연구하였다. 이 연구에서는 TBI가 있는 사람들과 정상인 사람들을 대상으로 사고 구술 방식을 통해 진행하였으며, 조사과정을 비디오로 녹화해 참여자들의 코멘트를 비교분석하였다. 그는 정신적 장애를 갖고 있는 피실험자들에 대해서는 사고 구술 방식의 언어 프로토콜분석 방식이 제한적이므로 추가적으로 비디오 녹화에 의한 시각적 분석을 제안하였다. 연구결과를 통해, 음성 코멘트와 시각적 관찰이 정신적 장애인을 위해 개발된 웹사이트를 평가하는데 특히 도움이 된다는 점이 결론으로 제시됐다. 이상의 연구에 대한 자료수집 방법을 요약하면 <표 1>과 같다.

<표 1> VPA를 이용한 웹사이트 평가에 관한 연구

저자	조사 구분	참가 인원	자료수집방법	주요내용	SITE
Benbunan- Fich (2001)	본 조사	8명	사고 구술, 일반적인 질문	- 상업SITE 사용성 평가 - VPA기반 상호작용성 연구	상업SITE
Muylle 외 (2004)	예비 조사	14명	방법1. 동시보고 방법2. 회상보고	- 웹사이트 만족도의 실증적 인 타당성 조사 - 설문항목 구성 작업	주요 해운회사
Nantel 외 (2005)	본 조사	204명	1차. 연습 과업 2차. 실험 과업 3차. 평가 조사	- 웹사이트 교착상태 연구 - 비디오분석을 통한 교착상 태 분석조사 분석	자동차 보험회사, 여행사
Bunz (2001)	본 조사	15명	전문가 : 동시조사 설문지 비전문가: 사고구술 및 회상 보고	- 웹사이트 사용성 분석 - 사용성 평가는 전문가 와 비전문가가 서로 상반될 수 있다 - 사용성은 사용자 주관적 지 각에 영향을 받는다.	콜로라도 국립공원
Sample (2004)	본 조사	28명	1차. 일반적 설문 2차. 사고 구술조사 3차. 설문 조사	- 웹사이트의 정보욕구 충족 평가 - VPA와 비디오 녹화 분석 - VPA는 장애인에 적합한 웹사이트 평가방식	BIAC

Ⅲ. 연구방법

3.1 연구의 방법

오늘날 인터넷 쇼핑몰을 비롯해 대다수의 기업 및 공공기관 웹사이트들의 효과성을 측정하기 위해 가장 많이 쓰이고 있는 방법은 과거 경험에 기초한 이용자 만족도 조사이다. 과거 회상 설문지법을 기반으로 하는 이용자 만족도 조사는 사이트의 다양한 측면과 관련한 사용자의 인식을 파악하는데 초점을 두는 반면, 사용자들이 측정 질문에 왜 그렇게 답을 했는지, 사용자들이 이용하면서 어떤 점이 불편하였는지, 혹은 어떤 점이 좋았는지 등과 같은 상세한 정보들을 파악할 수 없는 것이 주된 약점으로 지적되고 있다. 즉 포괄적이고 개념적인 측정 항목들에 의한 평가 결과는 실제적 근거와 원인이 무엇인지를 이해하는 데는 한계가 있음을 의미한다. 본 연구에서는 이러한 설문기법의 한계를 극복하기 위하여 평가에 대한 관련 근거나 원인, 영향을 미치는 요소 등에 관한 정보를 실시간으로 직접 얻기 위하여 설문조사와 관찰조사의 2가지 조사방법을 병행하였다. 현장 관찰에 의한 조사방법은 사용자들이 단순하게 과거 경험에 관한 기억을 되살려 시스템에 대해 평가하기 보다는 해당 쇼핑몰을 실제로 둘러보며 관찰하면서 개별 측면에 대해 인식한 점을 구두로 표현하도록 유도함으로써 보다 상세하고 풍부한 정보를 획득할 수 있기 때문이다.

본 연구의 목적을 달성하기 위해, 6개월 이내에 인터넷쇼핑 경험을 지닌 고객이 자신의 경험을 바탕으로 1차 설문조사에 응하고, 일정 기간 후 해당 쇼핑몰에 대해 VPA 조사와 함께 2차 설문조사에 응하도록 하였다. <그림 1>에서 볼 수 있듯이, 회상조사 단계에서는 특정 사이트에서의 사전 구매경험에 대한 기억을 되살려 웹사이트 사용성의 인식을 설문조사를 통해 측정하였고, 2주 후에 실시된 관찰조사 단계에서는 사용자가 동일 사이트를 직접 이용해 보고 그 이용경험을 구두로 표현하도록 하면서 역시 사용자의 사이트 사용성의 인식을 측정하였다.

<그림 1> 회상조사 및 관찰조사의 수행절차

사전경험의 회상

1차 설문조사

사고 구술조사

2차 설문조사

회상조사 단계

관찰조사 단계

2주 후

1, 2차 설문조사는 동일한 설문지를 이용한 것으로서 2주 기간의 간격을 두고 실시되었으며, 1차 및 2차 설문조사 결과를 기반으로 회상 조사 방법과 관찰 조사 방법을 두 가지 측면을 중심으로 비교분석하였다. 첫째, 사용자가 사이트에 대해 느끼는 만족도를 회상조사와 관찰조사에 대해 서로 비교하기로 하였다. 둘째, 개별 만족도 문항에 대한 답변의 확신도를 회상조사와 관찰조사에 대해 서로 비교하여 그 차이를 조사하기로 하였다. <표 2>는 본 연구에서 이용된 회상조사와 관찰조사를 서로 비교하고 있다.

<표 2> 본 연구의 세 가지 조사의 비교

회상조사 단계	1차 설문조사	개념	- 과거 온라인 구매경험을 바탕으로 기억을 되살려 사이트의 품질측정 - 설문조사를 통한 사용자 경험의 질 측정이 주된 목적임
		장단점	- 단순, 용이하게 사이트 사용성을 측정할 수 있음 - 과거경험에 대한 기억에만 의존하므로 결과의 신뢰도가 제한적이며, 사이트의 개선방향에 관한 깊이 있는 정보의 수집이 어려움
		결과물	- 이용만족도 조사결과(확신도 포함)
관찰조사 단계	사고구술조사	개념	- 과거 구매경험보다는 사용자의 실제 사이트 이용현장을 관찰함으로써 사이트의 품질 측정 - 사고 구술(Think Aloud) 조사를 통해, 웹사이트 사용 중 인식사항을 정확하게 포착하는데 주된 목적이 있음
		장단점	- 실험에 가까운 방식을 통해 쇼핑몰에 대한 소비자의 인식, 태도 등에 대한 정보를 정확하게 얻을 수 있는 장점이 있음 - 현실적으로 제약조건이 많음 (참여자 모집, 방대한 데이터 분석등)
		결과물	- 구술자료(음성) 및 동작화면 자료 (화면캡처, 키스트로크, 클릭스트림)
	2차설문조사	개념	- 이용자가 사고 구술 조사에 참여한 후, 웹사이트에 관해 학습된 정보를 바탕으로 사용성 인식을 측정함
		장단점	- 사이트의 사용성과 관련하여 VPA조사의 영향을 파악할 수 있음(조사 전과 조사 후를 상호 비교함)
		결과물	- 이용만족도 조사결과

3.2 조사의 절차

3.2.1 [회상 조사] 과거 경험에 기초한 쇼핑몰 이용 만족도 측정

C 대학 경영학부에 개설된 특정 과목을 수강하는 59명 학생들 가운데 최근 6개월 이내에 인터넷 쇼핑몰 이용 경험이 있는 56명의 학생들을 대상으로 설문조사를 실시하였다. 이들이 주로 방문하는 오픈마켓 사이트를 선택하도록 한 다음, 해당 사이트에서의 과거 쇼핑경험을 회상하게 함으로써 사이트에 대한 이용 만족도를 조사하였다.

3.2.2 [관찰 조사] 현장 관찰에 의한 쇼핑몰 이용 만족도 측정

1차 조사에 참여한 학생들을 대상으로 1차 조사에서 응답한 특정 오픈마켓 사이트를 실제 방문토록 하여 사고 구술조사를 실시하였다. 조사를 위해 서울 C대학에 소재하는 한국게임사관학교 교육장을 1회 2시간씩 2회에 걸쳐 대실하였다. 동일한 컴퓨터 시스템과 인터넷환경은 사고 구술 조사에 있어 환경에 의한 차이를 최소화 할 수 있으며 교육 및 자료수집의 편의성을 높일 수 있었다. 교육장에는 모두 20대에 달하는 동일사양의 PC가 설치되어 있다. 전체 개별 PC에 대해 사고 구술조사 녹음을 위해 필요한 장치인 헤드셋을 설치하였으며, 또한 화면동작 캡처 프로그램인 Camtasia를 설치하여 실험대상자의 모니터 화면과 마우스컨트롤을 녹화할 수 있도록 하였다. 교육장 수용인원이 20명으로 제한됨에 따라 50명 학생들을 3개조로 구성하여 이틀간에 걸쳐 조사를 실시하였다.

본 조사 전에 학생들에게 Camtasia 프로그램의 사용법을 설명하고 연구원이 직접 약 10분 간 시연을 하였다. 조사 대상자들은 대상 오픈마켓 사이트가 아닌 타 쇼핑몰에서 약 10분간 Camtacia를 이용하여 구술사고 연습을 수행하였다. 이를 통해 프로그램 작동 문제 여부 파악, 마이크 소리 조절, 정상적인 화면 녹화 여부 등을 점검하였다. 본 조사에서 사고 구술 방식은 본인이 1차 설문지법에서 대상으로 했던 사이트에서 직접 상품을 검색하고, 정보 탐색 그리고 무통장임금에 의한 결제까지 실시토록 과업을 부여하였다. 과업수행 시간은 20분으로 조사대상자들에게 간섭을 자제하였으며 과업 수행 중에 제기되는 질의사항에 대해서는 즉시 응답하였다. 사고 구술조사를 실시하는 과정에서, 1차 조사 때와 동일한 설문지를 통하여 쇼핑몰을 이용하면서 느낀 만족도를 응답토록 하였다. 총 56명의 학생들이 조사에 참가하였으나 한 학생의 녹화파일이 제대로 저장이 되지 않아 55명의 학생들 데이터만 분석을 위해 채택되었다. 따라서 1차 조사 때 나타난 한 개의 무효 설문지 역시 제거되어 총 55부의 설문지가 사용되었다. 사고 구술조사 파일 총 55개에 대한 사후 VPA 분석은 연구원 4명(박사과정 수료 1, 박사과정 2, 석사과정 1) 이 담당하였다.

앞서 언급되었듯이, 사고 구술 방식은 얻을 수 있는 정보의 양이 많기 때문에 샘플의 수가 크게 요구되지 않는다. 따라서 본 연구에서 VPA에 사용된 샘플 수 55명은 VPA 분석을 목적으로 하는 조사에 있어 양적으로 충분하다고 볼 수 있다.

3.3 설문 항목

3.3.1. 웹사이트 평가프레임워크로서의 3C-D-T 모델

본 연구에서는 3C-D-T 웹사이트 평가 프레임워크를 바탕으로 평가요인 및 세부평가항목을 제시하고 이 항목들을 근간으로 웹사이트에 대한 이용자 만족도 조사 설문지를 설계하고자 한다. 웹사이트 평가 프레임워크에서 제시된 각 영역별 세부 평가차원과 평가항목은 <표 3>과 같이 요약될 수 있으며, 이들을 더 상세하게 살펴보면 아래와 같다.

(1) 콘텐츠(Contents)

콘텐츠는 웹사이트에 들어가 있는 정보 또는 웹사이트에 담겨져 있는 내용으로 대부분의 웹사이트 평가관련 선행연구에서 정보의 품질과 관련된 중요한 요인으로 파악하고 있다. 기존 관련연구에서 콘텐츠 품질을 결정할 수 있는 요인들은 정확성, 적시성, 현행성, 완전성, 관련성(Wand & Strong, 1996; Baily & Pearson, 1983), 이해 용이성(Srinivasan, 1985), 산출물 유용성(Mahmood & Medewitz, 1985), 표현성, 가격정보, 제품 비교용이성, 제품 차별성, 제품설명 완전성(Baty & Lee, 1995) 등 다양한 차원들로 표현되고 있다. 본 연구에서는 여러 선행연구에서 보편적으로 채택되고 있는 정확성, 이해용이성, 정보 유용성, 그리고 다양성을 콘텐츠에 대한 척도로 선정하기로 한다.

(2) 커뮤니티(Community)

커뮤니티는 유사한 관심을 가진 사용자들이 함께 모여 만들어진 온라인 공동체를 뜻하며, 구성원들은 공통적인 관심사에 대한 끊임없는 정보의 공유 및 교류를 통해 온라인 공동체에 대한 소속감을 유지하게 된다. 커뮤니티는 타인과 상호작용, 자신만의 공간 지원 등으로 활용범위가 급속도로 증가하고 있는 추세이다(정영수 정철로, 2007). Rayport & Jaworski(2001)에 의하면, 온라인 커뮤니티는 응집력, 영향력, 도움제공, 상호작용 등의 특징을 갖는다. 본 연구에서 커뮤니티의 평가요인으로는 커뮤니티 유용성, 활성화, 참여성, 그리고 커뮤니케이션이 채택되었다.

(3) 커머스(Commerce)

커머스는 우리 말로 상거래를 뜻하는 용어로서 웹사이트를 통해 제품이나 서비스를 판매하는 것으로 정의된다. 웹사이트에서 상거래를 가능하게 하는 요소들은 사용자 등록, 쇼핑 카트, 대금결제, 배송방법 선택, 배송추적 등 다양하다(Rayport & Jaworski, 2001). 커머스에 대한 평가요인들로는 결제방법의 다양성, 주문절차, 배송추적, 결제의 안전성 등이 선정되었다.

(4) 디자인(Design)

디자인은 웹페이지의 레이아웃을 표현하는 시각적 요소와 웹사이트 정보의 구성방식을 포괄하는 개념이다. 구체적으로 사이트 메뉴, 내비게이션, 비주얼 요소(색상, 폰트 등) 등을 포함하는 사용자 인터페이스의 요소들이 디자인의 범주에 포함된다. 따라서 관련문헌들은 디자인을 웹사이트 사용성(usability) 관점에서 조명하고 있다. 사용성은 사용자가 얼마나 효율적이며 효과적으로 그리고 만족스럽게 시스템을 사용할 수 있는지를 의미한다(Zviran et al., 2006). 연구자들은 사용성을 측정하기 위한 척도로서 상호작용성(Negash et al., 2002; Dix et al., 1993), 사용 용이성(Swanson, 1974), 접근성(Negash et al., 2002) 등의 요인들을 제시하고 있다. 본 연구에서 디자인은 정보 구성, 페이지 이동용이성, 내비게이션 용이성, 화면 구성, 그리고 비주얼 적절성 등의 요소에 의해 측정된다.

(5) 테크놀러지(Technology)

테크놀러지는 웹사이트의 기술적 측면을 다루는 영역으로, 웹사이트가 얼마나 안정적으로 또 얼마나 반응속도가 빠른지를 측정하는데 초점을 둔다. 테크놀러지 영역은 일부 정보시스템 문헌의 시스템 품질과 맥을 같이 한다. 시스템 품질요인 중 테크놀러지 측면과 관련이 있는 요인들로는 안정성, 응답시간(Swanson, 1974) 뿐 아니라 전자상거래 사이트에 있어 주된 관심사로 떠오르는 보안(Shankar, 1996; Liu & Arnett, 1999)도 포함된다. 본 연구에서 테크놀러지 차원은 시스템 안정성, 로딩속도, 그리고 개인정보 보호 등의 척도에 의해 측정된다.

이렇듯 3C-D-T 평가모형은 웹사이트의 구축과 운영, 성과에 대한 접근을 다각적으로 함으로써 웹사이트평가에 있어 타당성과 그 적합성을 높이고자 하였다. 이를 통해 홍일유·정부현(2000)이 제시한 평가 항목과 세부항목을 기반으로 하여 과거 회상을 대상으로 한 설문지법과 VPA방법을 통한 분석방법을 비교해 보고자 한다.

3.3.2. 설문항목 구성

본 연구에서는 설문기법을 이용해 소비자가 인터넷쇼핑몰에 대해 느끼는 만족도를 측정하기 위해 앞서 살펴본 3C-D-T 웹사이트 평가 프레임워크를 기반으로 다음과 같은 측정도구를 개발하였다. 측정 차원은 콘텐츠, 커뮤니티, 커머스, 디자인, 테크놀러지 등 5가지로 구분하였으며, 설문지는 각 차원과 관련한 총 21개 문항을 그리고 인터넷 쇼핑몰의 만족도를 묻는 1개 문항을 포함하였다. 인구통계학적 변수 4개를 포함하여 설문 문항은 총 26개로 구성하였으며, 각 설문문항은 5점 척도를 기준으로 오픈마켓 사이트를 평가하도록 하였다. 각 문항의 앞에는 자신의 답변에 대한 확신도를 1～5까지의 숫자로 표현하도록 하였다. 5점이면 답변에 대해 완전히 확신을 하는 것이고 1점이면 전혀 확신을 하지 못하는 것으로 볼 수 있다. 각 차원은 <표 3>와 같으며, 세부측정항목은 한국웹사이트평가개발원의 평가 모형과 홍일유ㆍ정부현(2000)에 나타난 웹사이트 평가분석 프레임워크를 기반으로 문헌연구에 소개된 관련연구를 참고하여 도출하였다.

<표 3> 조사 차원별 측정 항목

차 원	항 목
콘텐츠	- 정보의 정확성 - 정보의 이해 용이성 - 정보에 대한 만족도 - 정보 제공 형태의 다양성 - 정보 입력의 다양성
커뮤니티	- 커뮤니티의 유용성 - 커뮤니티의 활성화 정도 - 커뮤니티에의 자발적 참여 정도 - 판매자와 고객 간의 커뮤니케이션의 원활 정도
커머스	- 결제 방법의 다양성 - 주문 절차 및 방법의 용이성 - 주문 내역 및 배송 진행 현황에 대한 정보 확인 용이성 - 결제의 안전성
디자인	- 카테고리별 제품 정보 구성의 합리성 - 제품 정보 탐색을 위한 페이지 이동 용이성 - 바로가기 메뉴, 사이트맵 등에 대한 지원 정도 - 전체적인 화면 구성(page layout) - 비주얼 요소(색상, 글꼴, 그래픽)의 적절성
테크놀러지	- 시스템의 안전성 - 웹사이트 로딩 속도 - 개인 정보 보호

Ⅳ. 연구 결과

4.1 회상과 관찰 설문조사 결과 비교 분석

<표 4> 인구통계학적 분석

구분	빈도	비율(%)	구분	빈도	비율(%)
인구 통계적 특성			쇼핑몰 이용 횟수
남	36	65.5	한 달에 한번이상	25	45.5
여	19	34.5	두세 달에 한번	19	34.5
쇼핑몰 이용 목적			6개월에 한번 이상	2	3.6
물품구매	40	72.7	일년에 한번 이상	3	5.5
상품정보확인	4	7.3	거의 이용하지 않음	6	10.9
가격비교	11	20	쇼핑몰 1회 접속 시 이용시간
자주 방문하는 오픈마켓			30분 이하	12	21.8
옥션	12	21.1	30분 ～ 1시간	25	45.5
지마켓	31	54.4	1시간 ～ 2시간	14	25.5
다음온켓	6	10.5	2시간 이상	4	7.2
기타	6	10.5

조사 대상의 인구통계학적 특징은 <표 4>와 같다. 평균연령은 약 22세 이며 남녀 구성비는 남자 36명 여자 19명으로 남자가 더 많은 비중을 차지하고 있다. 쇼핑몰 이용 빈도는 한 달에 한번이상이 45.5%로 가장 높은 비율을 보였으며, 그 다음으로 두세 달에 한번 이상이 34.5%로 나타났다. 쇼핑몰의 이용 목적은 물품구매가 72.7% 인 것으로 조사되었다. 또한, 쇼핑몰 1회 접속 시 이용시간은 30분～1시간이 약 46%이며, 한 달 평균 인터넷 쇼핑몰에서 지출하는 금액은 2～5만원이 약 46%로 조사되었다.

국내 주요 인터넷 쇼핑몰에서 오픈마켓에 대한 회상 및 관찰조사에 의한 만족도 조사 결과를 비교하였다. 첫째, <표 5> <그림 2>와 같이 전반적으로 관찰에 의한 조사의 만족도가 다소 높게 나타났다. 5가지 차원 중에서 커뮤니티 차원이 관찰과 회상의 차이가 가장 크게 나타났다.

둘째, 피실험자의 회상 설문 조사 시 느끼는 확신도와 실제 사용 시 느끼는 만족도와의 관계를 분석하였다. 이를 위해 본 연구에서는 피실험자가 설문지의 개별 문항을 응답하는데 느낀 자신감을 측정하기 위해 확신도 개념을 도입하였으며, 회상 조사 시 개별 문항에 대해 느낀 확신도를 5점 척도로 표기하도록 하였다. <그림 3>에서 볼 수 있듯이,

<표 5> 설문 항목별 회상 및 관찰 설문기법 결과

차원	항목	관찰	회상	차이	확신도
콘텐츠	a9_1.웹사이트에서 제공되는 정보는 정확합니까?	3.11	2.96	0.15	4.25
	a10_1.웹사이트에서 제공되는 정보는 이해하기 쉽게 설명되어 있습니까?	3.27	3.42	-0.15	4.36
	a11_1.웹사이트에 수록된 정보에 대하여 전반적으로 만족하십니까?	3.44	3.47	-0.04	4.19
	a12_1.다양한 형태로 정보가 제공됩니까? (문자, 그림, 동영상 등)	3.44	3.58	-0.15	4.25
	a13_1.정보입력이 용이합니까? (회원가입, 배송정보 입력 등)	3.95	3.96	-0.02	4.51
	평균	3.44	3.48	-0.04	4.31
커뮤니티	a1_1.커뮤니티 이용 혜택이 있다고 느끼십니까?	3.39	3.27	0.12	4.15
	a2_1.커뮤니티에서 활발한 정보교환이 이루어집니까?	3.44	3.09	0.35	4.00
	a3_1.커뮤니티의 회원들이 자발적으로 참여하고 있습니까?	3.55	3.56	-0.02	3.66
	a8_1.판매자와 고객 간의 커뮤니케이션이 원활합니까?	3.24	2.69	0.55	3.89
	평균	3.40	3.15	0.25	3.92
커머스	a4_1.결제방법이 다양하고 만족스럽습니까?	3.96	3.82	0.15	4.25
	a5_1.주문의 절차 및 방법이 전반적으로 용이합니까?	3.89	3.89	0.00	4.28
	a6_1.주문내역 및 배송진행 현황에 관한 정보를 쉽게 확인할 수 있습니까?	3.80	3.85	-0.05	4.47
	a7_1.불안감 없이 안전하게 결제할 수 있다는 느낌이 있습니까?	3.51	3.29	0.22	4.09
	평균	3.79	3.71	0.08	4.27
디자인	a14_1.제품정보가 카테고리별로 잘 구성되어 있습니까?	3.44	3.64	-0.20	4.28
	a15_1.사이트의 어느 곳에서든 제품정보 탐색을 위한 페이지 이동이 용이합니까?	3.31	3.53	-0.21	4.21
	a16_1.바로가기 메뉴, 사이트맵 등의 기능이 원활히 지원되고 있습니까?	3.35	3.35	0.00	3.92
	a17_1.전체적인 화면구성에 만족하십니까? (텍스트, 이미지 등)	3.18	3.20	-0.02	4.17
	a18_1.정보전달 목적에 어울리는 색상, 글꼴, 그래픽을 사용하고 있습니까?	3.29	3.22	0.07	3.94
	평균	3.31	3.39	-0.07	4.11
테크놀러지	a19_1.시스템의 접속이 끊김 없이 안정적으로 운영되고 있습니까?	3.93	3.96	-0.04	4.26
	a20_1.웹사이트 로딩 속도에 만족하십니까?	3.80	3.45	0.35	4.28
	a21_1.개인정보유출에 대한 불안감은 없습니까?	3.25	3.20	0.05	4.49
	평균	3.66	3.54	0.12	4.35
	전체 평균	3.50	3.45	0.05	4.19
	전체 표준편차	0.27	0.34	0.19	0.21

이러한 확신도 값을 관찰조사와 회상조사의 만족도 차이(gap)와 비교하였다. 확신도가 높은 문항들에서 관찰조사 와 회상조사의 차이를 분석하기 위하여 회상조사에서 확신도 4.0 이상(확신도에 대한 응답을 확신, 강한확신으로 표기)을 나타내는 문항을 대상을 다음과 같이 분류하였다. 만족도 차이가 +0.1 이상이면 A그룹, +0.1～-0.1 이면 B그룹, -0.1 이하이면 C그룹으로 분류하였다. 피실험자의 강한 확신도와 두 조사 간에 만족도 차이를 나타내는 항목들은 다음과 같다. 회상조사 확신도는 높지만 만족도에서 관찰조사가  높게 나타난 항목(그룹A)은 '커뮤니티 이용 혜택‘, ‘결제방법의 다양성’, ‘웹사이트 로딩속도’이며, 회상조사가 높게 나타난 항목(그룹C)은 ‘정보는 이해하기 쉽게 설명’, ‘다양한 형태로 정보제공’, ‘제품정보가 카테고리별로 잘 구성’, ‘페이지 이동용이’이다. 회상조사 확신도가 높고 조사방법 간에 만족도 차이가 낮은 항목(그룹B)은 ‘주문 절차의 용이’, ‘정보에 대한 만족’, ‘정보입력이 용이’, ‘화면구성에 만족’, ‘시스템 접속이 안정적으로 운영’으로 나타났다. 한편 확신도가 낮으며 관찰조사와 많은 차이를 보이는 조사항목은 ‘커뮤니티에서 활발한 정보교환’, ‘판매자와 고객 간의 커뮤니케이션 원할’등으로 커뮤니티 차원으로 나타났다. 측정대상 5개 차원 중에서 커뮤니티에 대한 확신도가 전반적으로 낮게 나온 반면 테크놀로지 차원이 가장 높게 나왔다. 시스템 사용에 의한 체험적 효과가 회상에 영향을 미치고 있으며, 상대적으로 구매시점에서 의사결정에 영향을 미치는 커뮤니티 활동 결과는 대부분 문자 위주로 정보의 생성 및 전달이 이루어지고 있어 회상 효과가 낮다고 할 수 있다.

확신도(confidence factor)란 설문응답자가 조사지의 특정 문항을 답하는데 지니는 자신감의 정도를 의미한다. 문항을 답하는데 있어 정보 부족 혹은 불확실성으로 인해 선택한 답이 확실치가 않을 경우에는 확신도가 낮다. 문항들에 대한 확신도는 응답내용의 신뢰성을 가늠하는데 도움이 될 수 있다는 점에서 중요하다고 할 수 있다.

<그림 2> 설문 항목별 회상과 관찰에 의한 만족도 비교

<그림 3> 설문 항목별 확신도와 응답차이(gap)간의 비교

4.2 설문조사 결과에 대한 원인추적을 위한 VPA 분석

이용자 만족도에 대한 설문조사 결과를 상대적으로 평가하여 차원별 그리고 차원내 주요 항목을 파악하였다. 상대적 평가를 위해 관찰설문과 회상설문별로 계산한 전체평균값을 기준으로 평균 이상이면 상대적으로 만족도가 높고 평균 미만이면 만족도가 낮은 것으로 구분하였다. 차원별로 살펴보면 커머스 및 테크놀러지 분야는 회상과 관찰 조사에서 상대적 만족도가 높은 점수를 받았으며, 디자인 분야는 낮은 점수를 받았다. 관찰과 회상에 의한 만족도 평가 차이는 콘텐츠 회상 설문에서 근소한 차이를 제외하고 모든 차원이 동일한 상대평가 결과를 보이고 있다.

세부 항목별로 만족도 평가를 살펴보면‘결제 방법의 다양성’, ‘정보 입력의 용이성’, ‘시스템 안정성’, ‘주문 절차 및 방법의 용이성’, ‘주문 내역 및 배송 진행 현황에 관한 정보’, ‘웹사이트 로딩 속도’등에 대한 만족도가 높은 것으로 나타났다. 반면, ‘판매자와 고객 간 커뮤니케이션 원활성’, ‘제공 정보의 정확성’, ‘전체적인 화면 구성’, ‘개인 정보 유출에 대한 불안감’, ‘색상, 글꼴, 그래픽 사용’, ‘제공 정보의 이해 용이성’등은 낮게 나타났다. 각 차원별로 상대적 만족도 평가 그리고 이러한 만족도 평가에 영향을 미치는 주요 항목을 각 차원별로 정리하면 <표 6>과 같다. 콘텐츠 차원은 관찰 및 회상조사에서 만족도 상대평가가 미비한 차이를 보이고 있어 만족도가 높은 항목과 낮은 항목을 함께 표시하였다.

<표 6> 각 차원별 만족도 분석 요약

차원	만족도			평가관련 주요항목
	관찰	회상	상대 평가
콘텐츠	3.44	3.48	저	정보제공 정확성(만족도 : 고)
				정보입력 용이성(만족도 : 저)
커뮤니티	3.40	3.15	저	커뮤니케이션 원할성
커머스	3.79	3.71	고	결제방법 다양성
디자인	3.31	3.39	저	전체적인 화면구성
테크놀러지	3.66	3.54	고	시스템의 안정성
전체 평균	3.50	3.45	-	-

이러한 항목들에 대한 본질적인 문제점을 파악하기 위해 인터넷 쇼핑몰에서 실시간으로 느끼는 사용자의 감정과 태도를 VPA를 이용하여 분석하고자 하였다. VPA 분석을 통해 개별 항목을 만족도를 높게 혹은 낮게 평가한 근거는 <표 7>과 같다.

커머스 차원에 긍정적인 영향을 미치는 요인으로 다양한 포인트 적립과 활용측면을 언급하고 있으며 테크널러지 영역은 웹페이지의 로딩 속도에 대하여 언급하고 있다. 반면에 디자인 영역은 많은 피실험자들은 빽빽한 광고성 상품 진열로 인한 번잡스러움 및 화려하고 자극적인 이미지 배열에 부정적인 태도를 보이고 있다. 오픈마켓 운영회사의 수익원인 광고성 상품진열을 고객 관점으로 개선이 필요하다 할 수 있다. 또한 피실험자들은 관심 있는 상품의 정보는 부족하다고 느끼며 다양하고 더욱 세밀한 정보를 요구하고 있다.

VPA 분석을 이용하여 주요 오픈마켓들이 기업적인측면 즉, 운영회사와 판매자의 관점에서 운영 관리되고 있다는 것을 확인할 수 있다. 전통적 기업들이 고객의 마음을 사로잡기 위해 고객의 관점을 최우선시 하는 현실과 비교할 때 많은 차이가 있음을 알 수 있다.

만족도에 영향을 미치는 주요 항목들에 대한 <표 7>의 세부내용들은 설문조사로는 얻을 수 없는 것들이며, VPA방법을 통해서만 밝혀낼 수 있는 근거자료라고 할 수 있다. 이러한 근거자료를 바탕으로 쇼핑몰 사이트의 구체적인 개선방안을 도출할 수가 있다.

<표 7>의 VPA 분석결과를 토대로, <표 8>에서와 같이 쇼핑몰 사이트 개선보완 방안을 제시할 수 있다. 우선 제품 정보와 관련해서는 제품과 직접적인 관련이 없는 정보는 줄이고, 제품 자체에 대해 보다 상세하고 풍부한 정보를 갖출 수 있도록 사이트 콘텐츠를 보완하여야 할 것이다. 판매자 관점에서는 매출 증대를 위해 판매자의 다른 제품에 관한 정보를 노출시키길 원하지만, 이러한 정보는 상품과 관련한 세부 정보를 보기 원하는 고객에게 성가시게 느껴질 수 있다. 특히

<표 7> VPA 분석 세부 내용

차원	주요 항목	VPA 분석
콘텐츠	정보제공 정확성	- 제품과 관련되지 않은 정보들이 포함되어 있다 - 제품 메이커에서 나온 상품설명서를 그대로 복사해서 올려놓아 사이트 자체에서 알려주는 정보는 없는 것 같다 - 판매자에 대한 정보를 눌러보니 판매자가 판매하는 다른 상품이 나온다. - 상세정보가 부족하다 - 의류 같은 것은 디테일한 부분까지 이미지로 상품설명 이 되어있으면 좋겠다. - 상품에 대한 설명보다는 판매자의 다른 물품에 대한 광고가 더 많다 - 옷 같은 경우 소매부분이나 밑단 같은 부분은 자세한 이미지가 있었으면 좋겠다.
	정보입력 용이성	- 로그인 시 배송정보를 따로 입력하지 않아서 좋았다 - 전에 보냈던 주소들이 저장되어 있어서 선택할 수 있 어 좋았다
커뮤니티	판매자 고객 간 커뮤니케이션 원할성	- 24시간 상담이라고 하지만 그냥 형식적으로 보인다. - 고객들의 질문에 바로바로 답변이 달리는 것 같지 않다 - 오픈마켓이라 그런지 판매자 마다 답변이 다르다
커머스	결재방법 다양성	- 입금할 은행 정보에 사이트 바로 가기가 되어 있는 것 은 매우 만족스럽다 - 신용카드 포인트로 결제를 할 수 있어 편리하다 - 무통장 입금 시 입금할 계좌번호를 인쇄할 수 있는 기 능은 매우 좋은 것 같다 - 오케이케쉬백이나 사이트 포인트 등으로 결제할 수 있어 좋다
디자인	전체적인 화면구성	- 메인화면을 보고 어떤 것을 살까 고민을 많이 하는 편 인데 메인화면에 동영상 공간을 놓아 제품들을 좀 더 다양하게 보여줬으면 좋겠다. - 플래시 광고가 너무 많아 화면이 어지럽다 - 사진이 너무 빨리빨리 움직여서 어지럽다 - 첫 페이지를 보면 너무 사진들이 작고 많아서 도대체 여기서 뭐를 어떻게 봐야 하는지 모르겠다. - 플래시 화면으로 쉴 새 없이 움직이는 화면들이 짜증 난다. 정지해 있었으면 좋겠다. - 사진이 너무 작다
테크놀러지	시스템의 안전성	- 여러 프로그램을 설치해야 하지만 보안을 위한거니 만족 한다. - 페이지 로딩속도나 결제속도로 볼 때 시스템은 안정적인 것 같다 - 페이지 로딩속도가 빠르다

제품을 직접 만져볼 수 없으므로 최대한 상세한 사진 이미지를 제공함으로써 고객의 정보 욕구를 해소시킬 수 있어야 한다. 다음으로 고객문의 대응의 문제점을 해결하기 위해 고객이 사이트 이용과 관련해 올린 문의사항에 대해 보다 신속하게 대응하며 동시에 성심껏 답변을 제공함으로써 만족도를 높이기 위한 노력을 기울여야 한다. 끝으로 화면 구성과 관련해서는 주로 제품 관련 사진 이미지에 대한 개선 요구사항들이 제기되고 있다. 특히 작은 이미지들을 더 큰 이미지로 교체하고 빠르게 변하는 플래시 사용을 자제함으로써 실제 오프라인 쇼핑 할 때와 같이 사용자가 제품에 대해 세심하게 점검하고 싶은 욕구를 보다 효과적으로 충족시킬 수 있을 것이다.

<표 8> VPA 분석결과에 기초한 쇼핑몰 사이트 개선 방안 (예시)

개선요구 부문	세부 내용
제품 정보	제품 자체에 관한 정보에 초점을 두도록 제품관련 상세정보 추가
	제품과 직접적인 관련이 없는 정보(가령, 판매자의 다른 제품에 관한 정보)는 가능한 한 축소
	의류의 경우, 소매나 밑단까지 상세한 이미지 제공
고객문의 대응	고객 문의사항에 대해 보다 성의 있는 답변의 제공이 필요
	고객 문의사항에 대해 더욱 신속한 답변 및 대응조치가 필요
화면 구성	개별 제품과 관련해 정지화상 이외에도 동영상을 추가하여 시각적으로 풍요로운 정보 제공
	작은 사진이미지들을 더 큰 이미지들로 교체
	가능한 한 빠르게 변하는 플래시 사용을 자제하고, 대신 사용자가 여러 이미지들 중에서 한번에 하나씩 선택해 볼 수 있도록 프로그램을 수정

Ⅴ. 결론 및 제언

5.1 결론

정보통신기술의 발전으로 기업은 다양한 인터넷 어플리케이션의 도입 및 확산을 더욱 가속화하고 있다. 오늘날 이러한 인터넷의 발전은 인터넷 비즈니스 부문에 많은 기여를 하고 있음은 부인할 수 없는 사실이다. 특히 디지털 경제에서 인터넷 비즈니스가 차지하는 비중이 증대되고 또한 전통적 기반의 산업에 비해 상대적으로 진입장벽이 낮기 때문에 인터넷 비즈니스의 경제적 규모는 지속적으로 증대될 것이다. 기업들은 인터넷 비즈니스에 대한 관심과 투자를 더욱 확대할 것이다. 이러한 현상에 따라 많은 전문가와 학자들은 인터넷 쇼핑몰의 다양한 평가방법과 측정 도구들을 꾸준히 제시하고 있다. 인터넷 쇼핑몰의 성격이나 연구 방법 등에 따라 평가방법들은 서로 다를 수 있지만, 이러한 평가 방법들이 궁극적으로 추구하는 목표는 하나이다. 즉, 인터넷 쇼핑몰에서 소비자의 태도나 행동에 관한 정보를 정확하게 찾아내는 것이다. 이러한 소비자 구매행태에 관해 측정된 데이터는 인터넷 쇼핑몰 비즈니스에서 중요한 전략적 자원이며 향후 기업의 성패에 심대한 영향을 미친다고 할 수 있다. 그러나 이러한 시대적 요구에도 불구하고 기업들은 여전히 인터넷 쇼핑몰의 효과적인 분석 방법과 측정 결과의 의미에 대해 의문을 갖고 있다. 아울러 측정 결과가 어떠한 근본적인 원인에 의해 기인한 것인지를 알 수 있는 방법을 찾기가 어려운 실정이다. 따라서 본 연구는 설문조사에 의한 회상법과 VPA에 의한 관찰법을 병행함으로써 두 가지 기법의 상승효과를 높이는 데 초점을 두는 새 사이트 평가방법을 제안하고 있다.

본 연구에서 수행된 설문조사 및 VPA조사의 데이터를 분석한 결과를 요약하면 다음과 같다. 첫째, 회상 설문조사에서 응답자의 확신도는 높지만 관찰조사 시 실질적으로 인터넷 쇼핑몰에 대해 느끼는 만족도는 다르게 나타날 수 있다. 이는 회상에 의한 왜곡, 누락 등의 오류가 설문조사에 반영되고 있음을 시사하는 것으로 관찰조사 설문에 비해 신뢰도가 더 낮다는 것을 의미한다. 둘째, 설문기법에 의한 측정결과를 심층적인 분석을 위해 VPA조사를 실시하였다. 개념적 측정도구에서 소비자의 만족도를 낮게 하는 실제적인 원인을 VPA조사방법을 통하여 근거자료를 찾을 수 있다. 이를 통해 구체적인 사이트 개선방안을 제시하는 것이 가능함을 알 수 있다. VPA조사 기법이 기존 설문기법이 지니고 있던 측정의 한계점을 보완하기 위한 심층적 분석도구로서 매우 유용하다는 것을 의미한다.

결론적으로 오늘날 대부분의 쇼핑몰들이 이용하는 단순 회상방식의 설문조사보다는 회상방식의 설문조사 및 관찰방식의 VPA 조사를 서로 연동하여 이용할 때, 쇼핑몰 사이트에서의 이용자 상호작용에 관한 더 구체적이고도 유용한 정보를 얻을 수 있어, 사이트의 효과적인 개선방안을 도출하는 것이 가능하다.

5.2 연구의 시사점 및 한계점

본 연구는 일반적으로 이루어지고 있는 설문기법에 의한 쇼핑몰 이용만족도와 그에 기초한 개선 사항들이 얼마나 현실과 거리를 보이고 있는지를 분석하기 위하여 정량적 비교분석을 수행한 실증적 연구이며, 또한 이를 기초로 하여 세부요인을 VPA를 이용한 정성적 분석방법으로 수행하는 등 다중 적이고 심층적인 연구라는 점에서 중요한 의미를 갖고 있다. 본 연구의 결과를 토대로 다음과 같은 시사점을 발견할 수 있다. 첫째, 회상에 의한 설문 조사에서 사용자의 만족도 평가는 회상에 의해 오류 및 왜곡 등이 발생한다는 것을 실증적으로 검증하였다. 둘째, 일반적인 설문기법 측정결과에 대한 실질적인 영향요인, 관련근거 등 소비자 만족도에 대한 평가근거를 VPA를 활용하여 도출 하였다. 이러한 다중적인 분석방법은 각각의 분석방법이 갖고 있는 장단점을 상호 보완함으로서 실질적이고 효과적으로 인터넷 쇼핑몰의 종합적인 평가 및 분석을 할 수 있다는 점에서 의의를 갖는다. 셋째, 인터넷 쇼핑몰 평가에서 설문방식과 VPA(언어적 프로토콜 분석)에 의한 기존 연구들을 고찰하였으며 독립적으로 사용되던 회상식 설문기법을 관찰식 분석기법과 함께 사용할 수 있도록 새로운 쇼핑몰 사이트 평가분석 모형을 제안하였다. 조사방법간의 보완적 상호작용은 소비자의 다양한 이해 욕구와 불만을 효과적으로 찾아 낼 수 있음을 실증적으로 규명하였으며, 이러한 평가분석 접근법은 인터넷쇼핑몰의 분석 및 개선에 중요하게 기여할 수 있을 것으로 기대된다.

이상의 함축적인 의미와 연구의 시사점에도 불구하고 본 연구는 다음과 같은 한계점을 지니고 있다. 첫째, 연구목적에 적합한 사이트 선정이 필요하다. 본 연구 결과에서는 이용자 만족도 면에서 회상기법과 관찰기법 간에 통계적 차이가 다소 낮게 나타났다. 이러한 결과는 실험대상인 오픈마켓 특성에서 기인한 것으로 판단된다. 오픈마켓 비즈니스 모델은 안정기에 접어들었고 선도업체가 고착화 되어있다. 이러한 현실적 상황에서 피실험자들이 설문조사 및 과업수행 과정을 상당부분 예측하고 이해하고 있기 때문일 것이다. 추후 연구에서는 목적과 상황에 알맞은 조사대상 사이트 선정에 세심한 검토가 필요하다. 둘째, 의미 있는 언어적 정보 취득을 위한 효과적인 VPA 수행을 위해 피실험자를 대상으로 사고구술 기법에 대한 체계적인 교육방법의 개발이 필요하다. 인터넷 쇼핑몰에서 언어적 표현이 익숙하지 않은 피실험자들에게 프로그램의 사용법, 연구목적의 이해, 실험에 흥미를 유발할 수 있는 교육 방법을 체계화할 필요가 있다. 셋째, VPA분석 세부내용에서 중요도의 차이를 구분하기 위한 구술의 반복성, 억양, 톤의 강도 등을 고려하지 못했다. 이를 위해 피실험자의 개인별 구술패턴 특성에 따른 표현의 차이를 최소화 할 수 있는 방법을 모색해야 할 것이다. 언어적 표현은 개인별 특성, 구매상품의 특징 및 주변 상황의 의식정도에 차이가 있을 수 있으므로 이러한 주변여건에 따른 차이를 줄일 수 있는 방법이 필요하다. 넷째, 회상법과 관찰법 간의 차이 분석에 있어 통계분석에 따른 유의성 검증단계를 거치지 못했다. 본 연구는 일반적으로 사용되는 회상에 의존한 설문지법에 대한 오류를 지적하고 그 대안으로 VPA 방식의 관찰조사와 회상식 설문조사를 상호 연동해 결합하는 새로운 방법을 제시하였다. 향후 두 가지 설문지법의 차이에 대해 계량적 통계검증을 수반한다면 연구의 기여도를 가일층 높일 수 있을 것으로 판단된다. 다섯째, 피실험자가 제한적이다. 피실험자가 20대 초반의 대학생으로 구성되었으나 향후 연구에서는 인터넷 쇼핑몰의 다양한 고객층을 포함시켜 샘플 자료를 일반화 시킬 필요가 있다.

<참고문헌>

김규태, "날개단 오픈마켓, 종합몰 넘는다," 전자신문, www.etnews.co.kr, 2008.1.9

김진수, 임세헌, "e-Business 전략수립 모델 개발에 관한 탐색적 연구," 한국데이타베이스학회 국제 학술대회, 2001, pp. 392-406

박은아, "국내 인터넷 쇼핑몰 분류 유형에 대한 웹사이트 전략에 관한 연구: 3C-D-T 비즈니스 웹사이트 평가모델을 기반으로," 중앙대학교 대학원 석사학위 논문, 2002.

변대호, “전자정부 웹사이트의 지각된 유용성이 이용만족도와 재방문에 미치는 영향,” 정보시스템연구, 제16권, 제2호, 2007, pp. 51-68.

유일, 김재전, 노희옥, “웹사이트 사용성 요인이 인터넷서점의 고객 재방문의도에 미치는 영향,” 정보시스템연구, 제14권, 제1호, 2005, pp. 87-105.

이명식, 이한석, 송인식, 전영일, “언어보고 프로토콜분석법에 의한 건축디자인 사고과정의 이해,” 대한건축학회논문집, 제11권, 제2호, 1995, pp. 35-48.

이재관, “커뮤니티 요소를 고려하는 웹사이트 평가,” 경영과학, 제17권, 제3호, 2000, pp. 119-129.

정영수, 정철호, “개인 커뮤니티의 지각된 특성이 만족 및 지속적 사용의도에 미치는 영향에 관한 연구,” 정보시스템연구, 제16권, 제3호, 2007. pp. 133-159.

진선태, “디자인에서의 언어적 프로토콜분석(VPA)방법의 활용,” 한국디자인학회 봄학술대회 튜토리얼, 2007. 통계청 www.nso.go.kr, 2008. 8. 10 참조.

한국웹사이트평가개발원, "3C-D-T 평가 프레임워크," www.kwi.re.kr, 2008.8.20 참조.

홍일유, 정부현, “인터넷 웹사이트의 포괄적 평가모형에 관한 연구,”경영과학, 제17권,  제3호, 2000. 11, pp. 161-180.

Altman, C. J. and J. Turns, "Studying engineering design learning: A case study in the application of protocol analysis and the development of measures,” Proceedings of the Conference on Knowing and Learning to Design, Georgia Institute of Technology, Atlanta, GA, April 27-28, 1999.

Bailey, J.E. and S.W. Pearson, "Development of a tool for a measuring and analyzing computer user satisfaction," Management Science, Vol. 29, No. 5, 1983, pp. 530-545.

Baty, J.B. and R.M. Lee, "Intershop: enhancing the vendor/customer dialectic in electronic shopping," Journal of Management Information Systems, Vol. 11, No. 4, 1995, pp. 9-31.

Beck, Susan E., The Good, The Bad & The Ugly: or, Why It's a Good Idea to Evaluate, Web Sources, http://lib.nmsu.edu/instruction/ eval.html, 1997.

Benbunan-Fich, Raquel, “Using protocol analysis to evaluate the usability of a commercial web site, Information & Management,” Vol. 39, 2001, pp. 151-163.

Bunz, Ulla K., "Usability and Gratifications-Towards a Website Analysis Model,"  Proceedings of the 87th Annual Conference of the National Communication Association, 2001.

Dix, A., J. Finlay, G. Abowd, and R. Beale., Human–Computer Interaction, Prentice Hall, 1993.

Edwards, Judith., "The Good, the Bad and the Useless: Evaluating Internet Resources," Ariadne, Vol. 16, No. 2, 1998, pp. 83-102.

Ho, K., "Evaluating the World Wide Web: A Global Study of Commercial Sites," J. of Computer-Mediated Communications, Vol. 3, No. 1, 1997.

Huizingh, Eelko. K. R. E., “The Contents and Design of Web Sites: An Empirical Study," Information and Management, Vol. 37, 2000, pp. 123-144.

Kuusela, Hannu and Pallab Paul., "A Comparison of Concurrent and Retrospective Verbal Protocol Analysis," American J. of Psychology, Fall, Vol. 113, No. 3, 2000, pp. 387-404.

Liu, C. and K. Arnett., “Assessing the Customer Behavioral Intentions on the Web: A Research Model,” Proceedings of the Fifth Americas Conference on Information System, August 13-15. 1999.

Liu, Chang and Kirk P. Arnett., "Exploring the Factors associated with Web site Success in the Context of Electronic Commerce," Information &  Management, Vol. 38, No. 1, 2000, pp. 23-33.

Mahmood, M.A. and J.N. Medewitz., "Impact of design methods on decision support system success: an empirical assessment," Information and Management, Vol. 9, No. 3, 1985, pp. 137-151.

Muylle, Steve, Rudy Moenaert, and Marc Despontin., "The conceptualization and empirical validation of web site user satisfaction," Information and Management, Vol. 41, No. 5, 2004, pp. 543-560.

Nantel, Jacques and Sylvain Senecal, Abdelouahab Mekki Berrada.,, "The influence of "dead-ends" on perceived website usability," Working Paper, HEC Montreal, Juin, 2005, pp. 1-12.

Negash, S., Terry Ryan, and Magid Igbaria.,, "Quality and effectiveness in Web-based customer support systems," Information and Management, Vol. 2029, 2002, pp. 1-12.

Nielsen, J., Designing Web Usability: The Practice of Simplicity, New Riders Publishing, Indianapolis, IN, 2000..

Pavlou, P.A. and David Gefen, "Building Effective Online Marketplace with Institution-Based Trust," Information System Review, Vol. 15, No. 1, 2004, pp. 37-59.

Sample, Pat L., "Website Usability: Evaluation to Accommodate the Needs of Individuals with Traumatic Brain Injury," Working Paper, Colorado State University, 2004.

Shankar, B., "Electronic Commerce will be a big business," Telecommunications, Vol. 30, No. 7, 1996, p. 24

Shen, H., J. Wei, and L. Zheng, "An empirical study on the influential factors of travel agency websites quality based on the users' perception," International Journal of Services Technology and Management, Vol. 12, No. 2, May 2009, pp. 216-230.

Smith, Alastair G., “Librarians and the Web: a report on a study tour.”, 1997.

Srinivasan, A., "Alternative measures of systems effectiveness: associations and implications," MIS Quarterly, Vol. 9, No. 3, 1985, pp. 243-253.

Swanson, E.B., "Management information systems: appreciation and involveme nt," Management Science, Vol. 21, No. 2, 1974, pp. 178-188.

Telleen, Steve., "Measuring Web Site Effectiveness," Research Report, Forrester Research. July 19, 2001, www.forrester.com. 2008. 3. 10 참조.

Todd, Peter and Izak Benbasat., "Process Tracing Methods in Decision Support Systems Research: Exploring the Black Box," MIS Quarterly, Vol. 11, No. 4, 1987, pp. 93-512

Wand, R.Y and D.M. Strong.,, "Beyond Accuracy: What Data Qulity Means to Data Consumers," Journal of Management Information System, Vol. 12, No. 4, 1996, pp. 5-34

White, Bebo, "How to "Webby-ize" Your Web Site — Factors in Award-Winning Design," Third Latin American Web Congress (LA-WEB'2005), 2005, pp.xxv-xxvi.

조휘형(Hwihyung Cho)

중앙대학교 대학원 경영학과에서 경영정보시스템 전공으로 박사과정을 수료하였다. 대한한공 정보시스템실에서 신기술 적용업무를 담당하였으며, 테스코 홈플러스(구.한국까르푸)에서 정보기술업무를 담당하였다. 주요 관심분야는 e-Business Model, 웹사이트 전략의 개발, 웹사이트에서 신뢰와 신뢰가치성 평가, 지식경영 등이다.

홍일유(Ilyoo Hong)

Indiana  University를 졸업하고  University  of  Illinois  at Urbana-Champaign에서 경영학 석사 학위를 취득한 후, The University of Arizona에서 경영정보시스템 전공으로 경영학박사 학위를 취득하였다. 현재 중앙대학교 경영대학에서 교수로 재직하고 있으며, 미국 Western Kentucky University 조교수, 미국 UCLA Anderson School of Management 방문교수, 한국경영정보학회 이사, 한국능률협회 자문교수 등을 역임하였다. 현재 집중하고 있는 연구 관심분야로는 웹기반 정보시스템의 품질 및 성과 측정, 기업 웹사이트 전략의 개발, 웹기반의 전자회의시스템 등이 있다. 그동안의 연구결과는  Decision Sciences, Information and Management, Industrial Management & Data Systems, Journal of International Information Management,『경영정보학연구』등을 통해 발표되었다.

<Abstract>

Measuring the Usability of Shopping Mall

Web Sites Using Verbal Protocol Analysis

Hwihyung Cho․Ilyoo Hong

Today many owners of Web sites are looking to user's satisfaction survey as a key means of measuring the usability of a Web site. While it is preferred for its simplicity and ease of use, this survey method is not without potential risks. This paper focuses on showing that the existing practice of questionnaire-based usability measurement is subject to human recall errors, and that such flaws can be reduced when the questionnaire survey is followed by the user's hands-on experience of the site. An empirical study was conducted, and the results indicate that the above speculation holds true. Even if respondents felt highly confident about their responses on a recall survey, a hands-on experience with a focal Web site increased the extent to which the respondents were satisfied with the shopping mall site. This indicates that a user's perception of the quality of a Web site may be distorted or lost as time goes by. In addition, the findings have shown that the use of the verbal protocol analysis method can reveal critical information that can help track the root causes of Web site usability problems, thereby helping to develop site enhancement strategies. The paper concludes with directions for future research.

Keywords : Verbal Protocol Analysis, Think Aloud, Web Sites Assessment, Recall Survey, Observation Survey

* 이 논문은 2009년 5월 25일 접수하여 1차 수정을 거쳐 2009년 8월 3일 게재 확정되었습니다.