자율 적응 주체 모델링

( Modeling Adaptive Autonomous Agents )

Modeling Adaptive Autonomous Agents. Artificial Life Journal, edited by C. Langton, Vol. 1, No. 1 & 2. MITPress, 1994. Pattie Maes.

keywords : autonomous agents, behavior-based artificial intelligence, artificial creatures, action selection, learning from experience

초록

인공생명( Artificial Life ) 연구의 한 범주는 소위 자율 적응 주체 모델링에 관심을 갖는다. 그것은, 그것이 시간에 따른 목적 또는 동기의 집합을 만족시키고자 노력하는, 동적이고 예측할 수 없는 환경 내에 존재하는 시스템이다. 적응한다는 것은, 주체들이 경험에 기반 하여 목적을 달성하는 능력을 향상시킨다는 의미이다. 자율 주체에 대한 연구는, 생물학 특히 동물행동학( ethology )에 의해 크게 고무되는 인공지능 연구에 대한 새로운 접근 방식을 구성한다. 자율 주체의 연구는 인공지능 분야에 새로운 파장을 일으켰다. 이 논문은 이러한 접근방식의 현재 위치를 반성한다. 이것은 이 방식의 주된 아이디어를 발췌하고, 현재까지의 기여를 평가하며, 현재의 한계와 열려있는 문제들을 규정한다.

1절. 소개( Introduction )

1985년 이후로 인공지능의 연구에 새바람이 등장했다. 많은 사람들이 인공지능은 실패했다고 믿던 바로 그 때, 안쪽의 많은 사람들은 인공지능에 새 생명을 가져다 줄 흥미로운 무언가가 일어나고 있다고 믿었다. 그 새 바람은, 주류를 이루고 있던 지식기반 인공지능( knowledge-based AI )에 대비하여 행동기반 인공지능( behavior-based AI ) 또는 자율 주체 연구라 불려졌다. 때론 top-down 인공지능에 대비하여 bottom-up 인공지능이라고 불리기도 했고, Wilson[66] 들어낸 바, animat접근( artificial animal의 줄임말 )이라고도 종종 불려졌다.

Brooks[11], Wilson[67], Meyer[45]를 비롯한 몇 명의 사람들이 자율 주체 연구에 대한 정의를 내리고 개요를 썼다. 그런데도 또 다시 시도하는 것에는 몇 가지 이유가 있다. 무엇보다 많은 연구자들이 이 방식에 대해 비관적이다. 어떤 이들은 이것이 이전의 방식과 별로 다를 바가 없다고 하고, 어떤 이들은 이것이 과학적이라는 사실을 납득하지 못하고 있다.

다음 이유는, 이 논문은 위에 열거된 이들의 논문과는 다르다는 것이다. 이 새로운 접근방식의 주된 창시자 중의 하나인 Brooks[11]는 로봇 형식의 지능에 제한된 그림만 제시하지만, 이 논문은 보다 더 일반적인 전경을 제시한다. 이 논문은, 동적이고 예측 불가능한 환경 안에서 여러 가지 목적을 자율적으로 성취하고자하는 시스템을 필요로 하는 문제에 대하여, 자율 주체 접근방식이 적절하다고 주장한다. 이의 응용에는, 상호작용 훈련( interactive training )과 오락시스템의 가상행위자( virtual actor )[3,38], 접속주체( interface agent )[39,52], 작업스케쥴( process scheduling )[41] 등등이 있다. Wilson[67]은 자율 주체 연구에 관한 과학적 방법론에 초점을 맞추고 있고, Meyer[45]는 이제까지 수행된 연구의 개요를 제시하는 것에 목표를 두고 있다.

마지막 이유는, 이 접근방식에 대한 연구가 수행된 지 몇 년이 되었으므로, 비판적 평가를 할 시기가 왔다고 본다. 이 논문은  자율 적응 주체 연구에 관한 기본적인 문제들에 대해 토론한다. 이것은 이 분야에 대한 개요와 현 단계 평가 또한 제시한다. 특히, 이것은 보다 일반적이고 보다 특수한 열린 문제들을 지적한다. 개요 논문은 반드시 어느 쪽으로든 기울어지기 마련인데, 이 논문은 MIT의 AI Laboratory and Media Laboratory의 자율 적응 주체 연구가 보다 크게 반영되어 있다.

이 논문의 구성은 다음과 같다. 2절은 자율 적응 주체의 개념을 소개하고, 이 분야가 풀고자하는 기본적 문제들을 정의한다. 3절은 자율 적응 주체 연구의 길잡이 원리를 토론한다. 4절은 이제까지 제시된 해결방안들의 공통된 특성을 확인한다. 5절은 세 가지 다른 응용 사례를 통해 현단계를 토론한다. 그 세 가지는 각각, 이동로봇( mobile robotics ),  접속 주체( interface agent ), 스케쥴 시스템( scheduling system )이다. 6절은 현단계에 대한 비판적 평가를 제시한다. 여기서는 주체를 만드는데 제시되었던 주요한 아키텍처( architecture )들에 대해 토론한다. 특히 행위선택모델( models in action selection )과 경험학습모델( models of learning from experience )에 대해 다룬다. 7절은 전반적 결론을 제시한다.

2절. 자율 적응 주체란?( What is an adaptive autonomous agent? )

주체( agent )란 복잡하고 동적인 환경 하에서 어떤 목적의 집합( a set of goals )을 달성하고자 노력하는 시스템을 의미한다. 주체는 어떤 환경 하에 놓여있다 : 그것은 센서를 통해 환경을 인식하고, 작동장치( actuator )로써 환경에 작용한다. 주체의 목적은 여러 가지 형태를 띈다 : 그것은 최종목표가 될 수도 있고, 어떤 특정 상태( particular state )가 될 수도 있고, 그것이 극대화하고자하는 선택적 강화 또는 보상( selective reinforcement or reward )이 될 수도 있고, 그것이 가능영역( viability zone ) 내에 유지하고자 하는 내적 요구 내지 동기( internal needs or motivation )가 될 수도 있다. 자율의 의미는, 주체가, 목적에 성취하는 데 도움이 되는 방향으로, 센서 데이타를 모터 명령( motor command )과 연관시키는 일을 자기 스스로 결정한다는 의미이다. 적응한다는 것은, 주체가, 시간이 지남에 따라 성능을 향상시킨다는 의미이다. 즉, 목적을 달성하는 능력이 좋아진다는 것이다. 작은 변화에 대한 단기적응으로부터, 좀 더 커다란 장기 변화를 다루는 연속체( continuum )가 있다는 사실은 주목할 만하다.

어떤 종류의 환경에 처해있는냐에 따라, 주체는 여러 가지 다른 형태를 띌 수 있다. 실제의 물리 세계에 처해있는 전형적인 주체는 로봇이다. 네트워크와 컴퓨터로 이루어지는 가상공간( cyberspace ) 내에 존재하는 주체는 종종 소프트웨어 주체( software agent ) 또는 접속 주체( interface agent ) 또는 knobot이라고 불린다. 이러한 주체의 예로서는, 네트워크를 돌아다니며, 특정 성질의 데이타를 모으는 시스템을 들 수 있을 것이다. 끝으로 모의 물리 환경( simulated physical environments )내의 주체가 있다. 이러한 주체의 예로써는, 컴퓨터 생명 세계( computer animated world )내의 합성행위자( synthetic actor )를 들 수 있다. 이들 여러 가지 형태의 주체의 조합도 존재한다. 예를 들면, ALIVE 상호작용 환경( interactive environment )[38] 내의 가상 주체는 사람의 움직임과 동작에 대해서 어떻게 반응할 것인지를 결정하기 위해 진짜 센서를 사용한다.

인공지능은 인공적으로 지능을 합성함으로써 지능을 연구함을 목표로 하고 있다하더라도, 인공지능의 주류는 이제까지, 자율 적응 주체를 모델링 하는 것과는 매우 다른 문제에 주력해왔다. 전통적인 인공지능( traditional AI )과 자율 적응 주체에 관한 연구가 구분되는 중요한 점은 다음과 같다.

1. 전통적 인공지능은 독립적이고 향상된 능력을 보여주는 데 초점을 두었다.( 예를 들어, 의료 진단, 체스 게임 등 ) 전통적 인공지능은 폭보다는 깊이를 제공한다. 이와는 대조적으로, 자율 적응 주체는 복수 통합 능력( multiple integrated competences )을 갖는다. 전형적으로 이 능력들은 low-level 능력들이다. 로봇에게는, 이동( locomotion ), 항해( navigation ), 배터리충전상태유지, 개체 수집 등의 능력이 있을 것이다. 다른 시스템은 또 다른 단순한 능력이 있을 수 있다. 예를 들면, 접속 주체의 경우, 단순히 값을 부르고 사는 것을 통해 시장시스템에 대해 반응하는 것[41] 또는 단순한 software 루틴을 실행하는 것[39]이 있을 것 등이 있을 수 있다.

2. 전통적 인공지능은, 지식을 기호화하여 문제를 해결하는 문제의 영역( the problem domain )과는 아무런 직접적 상호작용을 하지 않는 닫힌 시스템( closed system )에 초점을 맞춘다. 그 시스템과 환경과의 연결은 인간 조작자( operator )에 의해 매우 조작적이고 간접적이 된다. 조작자는 문제를 인식하여 시스템이 알아들을 수 있는 상징언어( symbolic language )로 그 문제를 표현한다. 시스템은 다시, 그 상징언어로 문제의 해결책을 제시하면, 조작자가 그 해결책을 실질영역( actual domain )에서 이행한다. 그에 반해 자율주체는 열린 시스템( open system )이다. 주체는 어떤 환경에 처하게 된다. 그것은 센서와 작동장치를 통해 직접적으로 문제 영역에 연결되어 있다. 그것은 작동장치를 통하여 영역자체에 영향을 미치거나 변화를 줄 수 있다. 전형적으로 문제의 영역은 매우 동적이다. 즉, 시스템은 행동하기까지 제한된 시간만을 갖게 되며, 예상할 수 없는 사건이 발생할 수 있다는 것이다. 그것은 또한 전형적으로, 사람이든 인공적이든 어떤 다른 행동 주체( acting agent )를 통합한다.

3. 대부분의 전통적 인공지능 시스템은 한번에 한 가지의 문제를 다룬다. 풀어야 하는 문제는 인간 조작자에 의해 표현된다. 종종 시스템은 시간 제약이 없으며, interrupt도 고려하지 않아도 된다( 보통 조작자가 고려하게 된다 ). 시스템의 관점에서 보면, 문제를 푸는 도안 문제영역은 변화가 없다. 그와 반대로 주체는 자율적이다 : 시스템은 완전히 자립적이다. 그것은 환경을 감시( monitor )하고, 스스로 다음의 목표가 무엇인지 알아낸다. 그것은 시간에 맞추어( in a timely fashion ) 문제를 다룬다. 전형적으로, 주체는 여러 상충되는 목표를 동시에 다루어야 한다.

4. 전통적 인공지능은 시스템이 어떤 지식을 갖는가에 문제의 초점이 맞추어진다. 인공지능 시스템은 전문지식 영역의 한 측면을 모델링한 선언적 지식 구조( declarative knowledge structure )를 갖는다. 해석기( interpreter )는 별도로, 모든 내부 구조는 정적이다. 시스템은 조작자가 문제를 주었을 때만 활동적이다. 이 때 해석기가 정적 지식 구조를 이용해 해답을 결정한다. 반면, 자율 주체 연구는, 주체가 어떤 환경에 처했을 때 어떤 반응을 보이는가에 초점을 맞춘다. 주체의 내적 구조는, 정적 지식 구조에 대비하여 동적 행동 생산 모듈( dynamic behavior producing module )이다. 그것은 사용자가 정한 목표에 의해 시작될 필요는 없다. 주체가 문제영역의 어떤 질문에 대해 답을 할 수 있는 것은 덜 중요하다.( 예를 들면, 어떤 특정 문제를 어떻게 푸는가 하는 것 ). 사용자가 내적 구조를 관찰하고, 어떤 부분이 어떤 결과적 행동의 특정 양상에 대해서 책임을 갖게 되는가 확인하는 것 또한 덜 중요하다. 예를 들어, 어떤 한 특정 내적 구조로부터 비롯되는 특성이라 할 수 없는 목적과 계획도 인정된다.( 하지만 그것은 구조의 집합과 환경과의 복잡한 상호작용의 결과이다. )

5. 끝으로, 전통적 인공지능은, 개발 측면, 즉 지식 구조가 어떻게 처음 그 상태가 되었는 지와 시간이 흐름에 따라 어떻게 바뀌어야 할 지에 대한 의문은 갖지 않는다. 그것은 바뀌는 상황( 예를 들면 구성 요소 고장 ) 등에 대해 적응할 필요가 없다. 전통적 기계학습에 대해 이루어진 연구의 대부분이 많은 량의 바탕지식은 쉽게 얻을 수 있다고 가정한다. 이 바탕 지식은 시스템에 의해, 지식 재구성과 지식 편집( compilation )에 사용된다.( 예를 들면, 캐슁( caching ), 설명기반 학습( explanation-based learning ), 개념 학습( concept learning ) 등등 ). 그에 반해, 자율 주체 연구에선, 적응( adaptation )과 개발 접근( developmental approach )을 크게 강조한다. 이것은 종종, 그 환경내의 경험을 기반으로 하여, 시간이 흐름에 따라 자신의 내적 구조를( 따라서 자신의 행동 또한 ) 스스로 개선시키는 것을 의미한다. 점증 귀납 학습( incremental inductive learning ) 방법을 사용하여, 주체는 능동적으로 자신의 구조를 탐색하고 갱신한다. 다른 경우엔, 이것은 주체를 만들 때, 점증 접근방식( incremental approach )을 사용한다는 것을 의미하기도 한다. 사용자는 이미 잘 동작하는 시스템에 구조를 추가함으로써 점차 세련된 시스템으로 개선한다.

자율 주체 연구의 주된 문제는, 적응하는 강건한( robust ) 유효한( effective ) 행동을 보여주는 자율 주체를 위한 아키텍처( architecture )를 고안하는 것이다. 적응한다는 것은 시간이 지남에 따라 목표를 달성하는 능력이 향상됨을 의미하는 것이다. 강건하다는 것은 어떠한 경우에도 완전 고장은 일으키지 않음을 의미한다. 유효하다는 것은 결국엔 목표를 성공적으로 달성한다는 것을 의미한다. 특히 두 가지의 하위문제( subproblem )가 해결되어야 한다.

1. 행동선택 문제 : 다수 시간 가변 목표( multiple time-varying goals )로 다가가기 위한 행동을 주체가 어떻게 결정할 것인가? 우발( contingencies )이나 기회( opportunities )는 어떻게 처리할 것인가? 잡음이 낀 센서나 작동장치는 어떻게 다룰 것인가?

2. 경험 학습의 문제 : 어떻게 경험에 기반 하여 시간이 지날수록 성능을 향상시킬 것인가? 언제 현재의 최선의 행동을 선택하고, 언제 목표 달성에 더 좋은 방법을 찾기 위해 다른 행동을 선택할 것인가?[21] 어떻게 세상으로부터의 되먹임( feedback )을 내부의 행동생산구조( behavior producing structure )와 통합할 것인가? 어떻게 틀린 또는 유효하지 않은 행동생산구조를 옳게 고칠 것인가?

6절에서 두 문제 모두 자세하게 다룰 것이다. 요약하자면, 자율 주체 연구의 주목적은 적응하는 강건한 유효한 행동의 뒤에 있는 원리와 조직을 더 잘 이해하기 위함이다. 다음으로는 그러한 원리와 조직이 형상화된 자율 주체 구현을 위한 도구, 기술, 알고리듬을 개발하는 것이다. 우리는 그러한 원리, 조직 또 도구, 기술, 알고리듬의 총체를 자율 주체 모델링의 아키텍처( architecture )라 부른다.

최근 몇 년의 연구로 분명해진 것 중 하나는, 모든 면에서 최적( 또는 이제까지 제시되었던 모든 모델보다 뛰어남 )이라 고려될 수 있는 아키텍처는 존재하지 않는다는 것이다. 차라리, 우리 연구의 목표는 주어진 유형의 주체 문제에 대해 어떤 아키텍처가 가장 단순한 해결책인가에 대한 이해를 개발하는 것이다. 좀더 구체적으로, 그런 문제유형은 주체의 자원( 예를 들어 메모리, 센서, 계산능력( computing power )의 특성과 작업과 환경의 특성에 따라 정의된다[33,62].

3. 길잡이 원리( Guiding Principles )

자율 적응 주체의 연구는 진행된 연구의 길잡이 원리가 되는 두 가지 중요한 통찰에 기반하고 있다.

* 일반적으로 정의된 목적을 갖는 구성요소들 각각을 따로 고려하는 것보다, 시스템을 전체로써 고려하는 것이 종종 문제를 바람직한 방향으로 바꾼다.

* 상호작용의 동력학( interaction dynamics )는 기대치 않던 새로운 복잡함을 불러올 수 있다.

첫 번째 깨달음은, 지능시스템을 정황에 따라( in its context ) 만드는 것이 문제를 훨씬 쉽게 한다는 것이다. 이러한 관찰은 여러 수준에서 참이다.

1. 인지, 계획, 학습 등의 지능적 기능은, 완전한 지능 시스템, 즉 주체( agent )의 한 부분이다. 통합된 방식으로 시스템을 만드는 것이, 독립적으로 각 기능을 수행하는 모듈을 개발하는 것보다 종종 작업을 훨씬 쉽게 만든다. 예를 들면, 학습할 수 있는 시스템은, 계산된 계획을 나중에 다시 사용할 수 있기 때문에, 계획모듈에 훨씬 덜 의존하게 된다. 센서와 작동장치를 갖는 시스템은 환경내에서 시험을 행할 줄 알고, 추론과 환경모델에 대한 필요가 훨씬 적다. 센서를 가진 시스템은, 시스템이 현재 인지하고 있는 대상과 많은 상관관계를 갖기 때문에, 자연언어발언( natural language utterance )의 모호성을 제거하는 일을 굉장히 쉽게 할 수 있는 것, 등이다.

2. 완전한 지능시스템은 언제나 환경의 일부이다 : 그것은 어떤 공간상에 처해있는 것이다. 이것은, □세상이 그것의 가장 훌륭한 모델( world is its own best model )□[11]이기 때문에 모델링에 대한 요구가 더 작다는 것을 의미한다. 또한 , 어떤일은 이미 수행되었으며 어떤일이 아직 완수되지 않았는가를 상기시켜주는 것과 같이, 환경자체가 외부 기억장치로 스일 수도 있는 것이다[57]. 환경은 보통 시스템이 이용할 수 있는 특정 성질을 갖는다. 예를 들면, 사무실은 수직으로 된 벽과, 수평으로 된 바닥과, 특정 크기의 문으로 이루어져 있는 것과 같은 것이다. 그러한 □서식지 제약( habitat constraints )"이 이용되어 작업이 훨씬 쉬워질 수 있다[22].

3. 지능시스템은 공간에만 처해있는 것이 아니라, 시간상에도 위치한다. 이것은, 시간과 특정 작업이 허락한다면( 학습과 경험을 통해 ), 자신이 작업에 더욱 유능하도록 스스로를 개발할 수 있음을 의미한다. 시간은 반복적, 점증적 해결책을 구성할 수도 있도록 한다. 예를 들어 시간상에 존재한는 자연언어시스템은 모든 발언을 완벽하게 이해할 필요가 없는 것이다. 그것은, 다른 화자가 전달하고자 하는 것을 점차 이해하는 데에 도움이 되는 질문이나 소견을 제시하면서 대화에 참여할 수 있는 것이다.

4. 끝으로, 또한 모든 지능시스템은 전형적으로 사회의 한 부분이기도 하다. 같은 환경에 처한 다른 주체들은 비슷하거나 관련된 문제를 다룬다. 따라서 주체는 모든 것을 자기 혼자의 힘으로 해결해야할 필요는 없는 것이다. 예를 들면, 이동로봇은, 사무실 환경에서  물건에 부딪히지 않고 돌아 다니는 능력을 성취하기 위해선 지나가는 다른 사람의 뒤를 바짝 쫓는 전략을 사용할 수도 있는 것이다. Mae와 Kozierok[39]은, 사용자를 관찰하고 흉내냄으로써 어떤 작업을 수행하는 방법을 학습하는 접속주체의 실험을 보고한 바 있다.

위위 아이디어의 결과로서, 자율 주체에 대해서, 시스템의 정황안에서 그것을 모델링하는 것에 연구를 집중해왔다. 행위기반( behavior-based ) 인공지능 또는 주체( agent )에 관한 연구는 구체적인 환경 내의 작더라도 실질적으로 문제를 해결하는 □진짜□ 시스템을 만들어 낸 반면, 전문가 시스템을 제외한 전통적 인공지능은 보다 추상적인  가설상의 문제에 초점을 맞추어 왔다.

자율 주체 연구의 기반이 되는 두 번째 주요한 통찰은, 단순한 구성요소 간의 상호작용 동력학( interaction dynamics )이 새로운 복잡성을 불러올 수 있다는 것이다( Resnick[50]도 참조하기 바란다 ). 주체 연구는, 구성요소영역( coponent domain )에 대비되는 상호작용영역( interaction domain )으로의 방향 전환이 지능 시스템을 만들어내는 문제를 훨씬 더 수월하게 만들 것이라는 믿음에 기초한다. 이 아이디어는 여러 다른 수준에 적용된다.[12]

1. 주체와 환경과의 상호작용 동력학은 새로은 구조와 새로운 기능을 가져올 수 있다. 이 아이디어는 동물행동학( ethology )으로부터 영감을 받는다. 동물행동학자들은, 동물들의 행동은 그것이 처한 특수한 환경을 고려하지 않고서는 이해할 수 없는 것이라고 강조한다. 인공두뇌학자인 Braitenberg[9]는 이와 비슷한 아이디어를 그의 책 Vehicles에서 납득이 가도록 설명한다. 끝으로 인공지능 분야에서, Simon[54]은 해변의 개미의 예를 통해 똑같은 아이디어에 대해 언급한다. 그는, 개미 행동의 복잡함은 개미 내부가 복잡하다기보다 환경의 복잡함을 반영한다는 것을 지적한다. 그는 사람의 경우도 마찬가지일 것이라고 곰곰히 생각한다. 수 년 후에 Agre[1]는, 어떤 목표를 따르는 일련의 행동과 같이 복잡한 행위가 복잡한 환경과 반사적인 주체( reflex-guided agent ) 사이의 상효작용 동력학의 새로운 특성으로 어떻게 모델될수 있는 지를 보였다. 이 모든 사실이 보여주는 것은, 복잡한 행동을 나타내기 위해서 주체를 제어하는 내적구조가 반드시 복잡해야하는 것은 아니라는 사실이다. 종종, 환경의 특성과 상호작용 고리, 바람직한 행동을 만들어내는 반사 메카니즘( feedback or reflex mechanism )을 연구하는 것만으로도 충분하다. 한가지 결론은, 환경의 어떤 특성을 더욱 더 잘 이해해야할 필요성이 대두된 것이다. 만일 우리가, 귀결되는 자율 주체의 성능을 증명하고자 하거나 더욱 잘 이해하고자 한다면, 우리는 환경과 주체를 함께 모델링해야하는 것이다[5,23]. 또다른 결론은, 환경과 주체간의 상호작용 동력학에 대한 더 좋은 모델이 필요하다는 것이다.

2. 주체 내부의 서로 다른 구성요소간의 단순한 상호작용 동력학이 새로운 구조 또는 새로운 기능을 가져올 수 있다. 예를 들어, Mataric의 벽따라가기 로봇( wall-following robot )의 경우, 그 능력이 어떤 하나의 구성요소로부터 비롯되는 것이 아니다[42]. 하나의 모듈이, 거리가 어느 정도 이상일 때 벽을 향해 로봇을 몰고가는 것에 책임을 갖고, 또 다른 모듈은 거리가 어느 정도 이하일 때 로봇을 벽으로부터 먼 쪽으로 몰고가는 것이다. 그 둘 중 어느 하나도 벽을 따라가는 행위에 대하여 일차적인 책임을지지 않는다. 로봇이 벽을 믿음직하게 잘 따라가도록 만드는 것은 그들의 상호작용 동력학이다. Mae의 네트워크[33]에선, 어떤 구성요소 모듈도 행위선택( action selection )에 대해 책임을지지 않는다. 행위선택은, 그 들의 기본적 구성요소들 사이의 활성화/금지 동력학( activation/inhibition dynamics )로부터 나오는 특성이다.

3. 사회시스템( social system ) 내의 구성 주체( component agent ) 사이의 상호작용 동력학은 새로운 구조와 기능을 가져올 수 있다. Deneubourg와 그 밖의 다른 사람들이 쓴 논문[16]과, Deneubourg, Theraula와 Beckers가 쓴 논문[17]은 단순한 국부적 규칙을 따르는 사회적 벌레들이, 어떻게 해서 식량의 원천지로나, 시량을 제공하는 나무로 가는 경로와 같은 새로운 복잡함을 만들어내는 지를 설명한다. Malone과 다른 사람들의 자율 명령 시스템의 수집( Malone et al.'s collection of autonomous bidding system )[41]은 작업-프로세서 할당의 복잡한 과업에 대해서 언급한다. 끝으로 인류학자들은, 다른 민족들 사이에서 사회적인 상호작용을 통해 문제를 풀어가는 개념과 복잡한 방법이 어떻게 점차적으로 형성되어 가는 지에 대해서 연구해왔다[53,57].

여기서 중요한 것은 그러한 복잡성이 종종, top-down 방식으로 조직된 프로그램의 복잡성보다, 더 강건하고, 유연하고, 오류에 강하다는 것이다.( robust, flexible, fault-tolerant ) 이것은 구성요소의 어떤 것도 그 복잡성을 만들어내는 데에 진정한 책임을 갖고 있지 않다는 것이다. 어떤 것도 다른 어떤 구성요소보다 더욱 결정적이지 않은 것이다. 하나의 요소가 고장을 일으켜도 시스템 전체의 성능저하가 곱게 일어난다.( grace degradation ) 요소간의 대등한 상호작용에 의해 환경변화에 더욱 빠르게 적응할 수 있다. 어떤 변수가 변하였을 겅유 시스템이 다른 대안으로 재빠르게 전환하기 위하여, 종종 여러개의 해결방안을 동시에 탐색해낸다. 예를 들면, Mae의 시스템[33]은 여러개의 행동수순이 동시에 만들어지고, 그 중 가장 최선의 것이 행동을 결정한다. 또한 Malone과 그 외의 사람들( Malone et al. )의 시스템[41]은 기계에 대한 여러 가지의 작업할당이 평행하게 이루어진다고 볼 수 있다.

4. 주체 아키텍처의 특성( Characteristics of Agent Architectures )

이제까지 제안된 많은 자율 주체 아키텍처들이 공통점을 갖고 있다. 이절에선 그러한 공통된 특성들을 열거하고, 그것들을 전통적 인공지능 아키텍처와 대조한다. 그 차이점들은 다음절에서 구체적인 예들을 통해 설명한다.

4.1 작업지향 모듈( Task-Oriented Modules )

전통적 인공지능에서 지능시스템은 전형적으로, 주변 시스템 요소로서( the peripheral system component ) 인지, 실행, 자연언어 통신 요소와, 중심 시스템 요소로서( the central system component ) 학습, 계획, 추론엔진( inference engine ) 등으로 분리된다. 그 모듈들은 전형적으로 독립적으로 개발된다. 서로간의 접합( interface )은, 중심표현( central representation)에 의존한다. 중심표현은, 인지요소에 의해 갱신되고 추론엔진과 자연연어 요소에 의해 추가, 처리되는 믿음, 계획요소( planner )에 만들어지는 소망( 또는 목표 ), 의도 등을 포함한다.

이와는 대조적으로, 주체는 능력모듈( competence module ) 또는 행위( behavior )들의 집합으로 생각될 수 있다[10]. 그 모듈들은 특정한 작은 작업 지향 능력에 대한 책임을 진다. 각 모듈들은 필요한 센서들과 동작장치들에 직접 연결되어 있다. 모듈들은, 믿음 또는 그 밖의 것에 대한 공통의 표현( common representation )이 아니라, 매우 단순한 메시지를 통해 접속한다. 모듈간의 통신은 전혀 브로드캐스팅의 성격을 띠지 않는다고 볼 수 있으며, 일대일 교신을 기반으로 한다. 전형적으로, 메시지는 작동에너지( activation energy ), 단순한 금지 신호( simple suppression or inhibition signal ) 또는 제한된 언어 표현 등으로 구성된다. 메시지를 통해서뿐만 아니라, 모듈들은 환경을 통해서도 서로 통신한다. 한 모듈이 환경에 어떤 변화를 일으키고, 그것은 다시 다른 모듈에 영향을 끼치는 것이다.

4.2 작업특유 해결책( Task-Specific Solutions )

전통적 인공지능은, 각각의 모듈들을 가능한 한 일반적이고 문제영역독립적( domain independent )으로 모델한다. 그것은 같은 요소가 다른 문제 영역에서도 사용되기를 바라는 것이다.( 범용 문제영역독립 계획기, 학습기( general domain indepent planner, learner ) 등 ). 개조되어야 할 유일 한 요서는 특정 환경의 모델과 같은 문제특유( domain-specific )의 정보를 갖고있는 중심표현( central representation )이다.

이와 대조적으로, 주체는 범용 작업독립적인 기능 모듈은 갖지 않는다. 범용 인지모듈, 범용 계획기 등도 없다. 각각의 능력 모듈은 각자가 책임을 지는 능력에 필요한 표현, 계산, 추론, 실행에 책임을 진다. 예를 들어, 장애물회피모듈은, 문제영역에 장애물이 인지되는 지 아닌 지를 나타낼 수 있는 비트 하나의 정보만 있으면 된다. 그것은 어떻게 장애물을 피해갈 것인가에 대한 아주 간단한 계산을 할 것이다. 그들은 그들의 능력을 얻기 위해서 매우 다른 기술( 다른 하드웨어까지도 ) 사용할 것이다. 이러한 실용적인 접근방식의 이유 중 하나는, Minsky[46]도 표현했던 견해와도 같이, 비전( vision )문제, 계획문제 등에 대한 일반적 해결책을 고안해낼 수 있을 것인가에 대한 견해가 비관적이기때문이라고 할 수 있다.

4.3 표현의 기능의 약화( Role of Representations is Deemphasized )

전통적 인공지능에선, 모든 물체와 그 관계들을 포함하는 환경을 정확히 표현하는, 완벽하고 정확한 모델을 주체가 갖는 것이 강조되었고, 그것에 의존하여 시스템이 문제가 어떻게 풀릴 수 있는 지 예상할 수 있다.

그와 대조적으로, 주체 연구에서는 환경 모델링은 강조되지 않는다. 무엇보다 여러 모듈 사이에 공유되는 중심표현( central representation )이 존재하지 않는다. 시스템은 또한, 여러 가지 센서로부터의 정보를, 현 상황의 조리있고 객관적인 설명으로 통하려 시도하지도 않는다. 대신, 모든 작업지향 모듈들은 자신의 능력을 성취하는 데에 필요한 것을 국부적( local )으로 표현( represent )한다. 이러한 국부적 표현들은 다른 모듈끼리 서로 아무 연관이 없을 수도 있고, 서로 불일치할 수도 있고, 다른 모듈끼리 같은 내용을 중복해서 갖을 수도 있다. 하나의 능력 모듈내은, 환경자체를 행동 결정과 다른 정보의 원천으로 하여, 표현의 사용을 최소화한다. 하나의 모듈내의 표현은 전통적 인공지능보다 종종, 덜 명제적이고, 덜 객관적이고, 덜 선언적이다. 예를 들면, 그것들은, 물체들의 신원( identity )에 따라서가 아니라 작업에 의미가 있는 특성에 따라 물체들을 지칭할 수 있다[1]. 그것들은 수치적, 절차적[43], 연속적인 성질( numeric, procedural, or analog nature )을 갖는다. 종종 많은 수의 작업특유의 문제 해결이 특정 능력 모듈의 인지 부분에서 수행된다[2,14,55].

4.4 분산된 제어 구조( Decentralized Control Structure )

전통적 인공지는은, 시스템 내에 다른 종류의 모듈들을 순차적으로 조직한다. 모듈들은 순서대로 내부 표현을 처리 변경한다. 인지와 접속이 가장 면저 내부 모델( 믿음 또는 목표 )을 갱신한다. 그 다음 계획 모듈이 문제 해결에 대한 묘사 또는 문제에 대한 답, 계획을 만들어 낸다. 끝으로, 실행모듈 또는 인간 조종사가 문제의 영역에 손을 댄다.( 인간이 실행모듈보단 상황이해와 지식을 많이 갖고 있다. )

그와 대조적으로, 주체 아키텍처는 매우 분산된 구조를 갖는다. 주체의 모든 능력모듈들은 대등하게 동작한다. 그것들 중 어떤 것 하나도 중앙 통제권을 갖지 않는다. 그렇지만, 동장장치 명령의 충돌을 해결하기 위해서 단순한 중재책은 도입된다. 이 중재 네트워크( arbitration network )는 Mae의 시스템[33]과 같이 □이기는 사람이 모두 먹기□( winner-take-all ) 네트워크이거나, Brooks의 시스템[10]과 같이 고정된 우선순위 체계일 수도 있다. 이러한 분산 동작을 통하여, 주체는 보통, 환경 또는 목표의 변화에 빠르게 대응할 수 있다.

4.5 목표에 따른 활동은 새로이 나타나는 특성이다( Goal-Directed Activity is an Emergent Property )

전통적인 인공지능은 활동을 심사숙고의 결과로써 모델링한다. 중앙시스템은 내적 표현( internal representation )에 따른 현재 상황을 평가하고, 목표를 달성하기위해 바뀌어야 하는 상황을 체계적으로 탐색한다.

그와 대조적으로, 주체는 활동을 의도된 처리로써 모델하지 않는다. 대신 복잡한 목표를 향한 활동들은, 능력 모듈들 사이의 상호작용의 결과로써 나타나는 특성( emergent property )으로써 모델링된다. 계획에 해당하는 내적 구조가 존재하지 않는 것이다. 주체들은 어떤 명시된 목표를 갖는 것은 아니지만, 해석되어 저장된( compiled-in ) 특정한 목표를 향해 움직여진다. 다른 아키텍처에선, 주체가 명시된 목표( 시간에 따라 변할 수도 있는 )의 표현을 갖고 이것을 다른 모듈 사이의 우선순위를 변경하는 데에 사용하기도 한다.

4.6 학습과 개발의 역할( Role of Learning and Development )

전통적 인공지능에서, 학습은 전형적으로, 시스템이 이미 알고 있는 것을 재해석, 재형성하는 것으로 이루어진다. 예를 들어, 시스템이 어떤 계획을 나중에 다시 사용하기위해 따로 저장해놓기도 한다. 시스템이 귀납학습( inductive learning )을 통하여 새로운 정보를 얻어낸다거나, 환경실험( environmental experimentation )과 귀환( feedback )에 기반한 현재의 지식을 수집학습하는 경우는 거의 없다. 이것은 시스템을 위한 완벽하고 정확한 초기 모델을 만들어내는 것이 전적으로 프로그래머의 책임이라는 것을 의미한다.

이와는 대조적으로,  학습과 개발이 자율 시스템에게 있어선 매우 중대한 측면이 아닐 수 없다[66]. 성공적으로 목표를 달성하지만 환경이나 작업이 변하여도( 예를 들면 로봇의 다리가 하나 고장날 경우 ) 변할 수 없는 시스템보다는, 처음엔 충분히 성공적이지 못하더라도 차츰 작업을 완수할 수 있는 시스템으로 개발될수 있는 시스템을 만드는 것이 더 바람직한 접근방식이겠다. 어떤 시스템에선, 보다 세련되고 적응된 행동으로의 발전이, 예를 들면 기존의 시스템에 구조체를 점증적으로 추가하는 방식으로, 프로그래머에 의하여 흉내내어진다[11]. 다른 시스템은 각개학습( learning individually )을 사용한다[18,25,34,37,60,66]. 거의 대부분의 경우, 이미 존재하는 정보를 재구성하는 것보다, 환경으로부터 새로운 정보를 학습하는 것에 초점이 맞추어진다. 그 학습 알고리듬은 분산된 방식으로( in a distributed way ) 구현된다 : 전형적으로 비슷한 학습 알고리듬을 모듈 각자가 사용한다. 이것은 중복( redundancy )의 아이디어와 관련된다 : 종종 특정 능력을 위해 다수의 모듈을 갖는다. 경험은 그 중 어떤 모듈이 그 능력을 잘 성취하는 지, 따라서 어떤 모듈이 더 선호되는 지를 골라낸다[18,37,49].

위에 제시한 원리들 모두( 작업지향 모듈, 작업특유 모듈, 약화된 표현( deemphasized representation, 분산된 제어 )를 사용하는 시스템은 더욱 잘 적응하고 강건한 행동을 보여준다. 그것들은 (a) 정보처리층의 수가 작기 때문에, (b) 분산되어 있고 비동기화되어 있기 때문에 (c) 계산이 덜 복잡하기 때문에, 더욱 빠르게 행동하고 더욱 빠르게 반응한다.( 탐색( search )을 그렇게 많이 사용하지 않기 때문에, 그것들은 조합의 폭발( combinatorial explosion ) 문제에 노출되어 있지 않다. ) 틀리거나 이미 낡아버렸을 수도 있는 모델에 의존하기보다 환경 그 자체를 정보와 행동결정의 원천으로 사용하기 때문에, 그것들은, 우연이건 아니건( opportunities or contingencies ), 예상하지 못했던 상황에 보다 잘 적응한다. (a) 어느 한 모듈이 다른 어떤 모듈보다 결정적인 중요성을 갖는 것이 아니기 때문에, (b) 종종 시간을 무척 소비하고 문제를 일으키기도 하면서까지 현재 상황을 완벽하게 이해하려고 하지 않기 때문에, (c) 그들의 중복의 방법( redundant method )을 통합하기 때문에, (d) 시간에 따라 적응해 나가기 때문에, 적응 자율 주체 모델은 강건하다( robust ).

5. 자율 주체의 몇 가지 예( Some example of Autonomous Agents )

5.1 이동 로봇( A mobile robot )

사무실들을 지키는 이동감독로봇( mobile surveillance robot )을 생각해보자. 그것의 작업은 방에서 방으로 돌아다니기를 필요로한다. 이 로봇의 전통적 인공지능 버전은 Shakey가 제안한 방법과 비슷하게 동작한다[47]. 인지모듈은 여러 다른 센서로부터의 데이타를 처리하고 그것들을 그 환경에 대한 표현( representation )으로 통합한다. 그것은 가능한 한 자주 이 모듈을 갱신하고자 시도한다. 이 모델은 환경내에 처한 로봇의 위치와 의자, 탁자와 같은 다른 물체들의 위치와 종류( 종종 정체( identity ) )들에 대한 정보를 포함한다. 이 모델은 계획모듈( planning module )이 장애물들을 피해 어떻게 방안의 문을 찾아내는가 하는 목표를 달성하기에 쓰인다. 계획모듈은, 이 모델에 따르면, 두 가지 목표모두를 성취하는 일련의 행동들을, 체계적인 탐색에 의해 만들어 낸다. 실행모듈( execution module )은, 가능하면 중간중간 일이 잘 되어가고 있는가 확인해가면서, 이 계획을 실행한다. 만일 일이 잘 되어가고 있지 않다면, 다시 제어를 계획모듈에게 넘긴다.

같은 일을 하는 자율 적응 주체는 다음과 같이 만들어질 수 있다( Brooks[10]가 영감을 일으킨 바 있다 ). 점증적인 방법으로( In an incremental way ) 각기 다른 작업에 필요한 능력에 대응하는 여러 모듈들이 만들어진다 : 인식과 문을 통과하기 위한 모듈, 벽을 따라가기 위한 모듈, 장애물을 피해가기 위한 모듈( 매우 중요한 능력이기 때문에 각기 다른 센서를 사용하는 몇 개의 중복되는( redundant ) 모듈이 있더라도 ) 등등. 이 모든 모듈들은 대등하게 동작한다. 모듈사이의 금지선( suppression and inhibition wires )과 같은 간단한 중재체계( a simple arbitration scheme )만으로도, 요구되는 우선순위 체계를 실현하는 데 충분하다. 벽을 따라가는 모듈보다 문을 통과하는 모듈의 우선순위가 높고, 그것보단 장애물회피모듈( obstacle avoidance module )의 우선순위가 더 높은 것이다. 이 로봇은 일련의 행동계획을 만들어내지 않는다. 그렇지만 관찰자의 입장에서 보면 체계적이고 합리적인 방식으로 동작하는 것이다. Brook[10,11]은 논문과 시연을 통해, 위의 두 가지 로봇 중 어느 것이 강건하고 믿음직한 방식으로( in robust and reliable way ) 그 과업을 다루는 지 납득이 가도록 증명해보였다.

5.2 접속 주체( An interface agent )

어떤 컴퓨터 작업을 돕는 지능 자율 시스템을 만드는 문제를 생각해보자. 그것의 목표는 사용자를 돕는 것과 가능한한 많은 사용자의 행동을 자동화하는 것이다. 전통적 인공지능은 다음과 같은 접근방식을 취한다[58] : 시스템은 지식공학자( knowledge engineer )에 의해주어진 문제영역에 대한 많은 정교한 지식을 갖는다 : 사용자와 사용자의 조직 모텔, 사용자가 사용하는, 하부작업( subtasks )의 계층상세( hierarchy specification )와 작업과 관련된 용어를 포함하는 작업의 모델 등. 실행시간에 주체는 사용자의 의도와 계획을 인식하기 위하여 이 지식을 이용한다. 예를 들어, 만일 UNIX 사용자가 □emacs paper.tex"과 같은 명령을 수행시킨다면 시스템은 그 사용자가 문서를 작성할 계획이라는 것을 추론한다. 그것은 그 다음 사용자를 돕는다는 목표를 수행하기 위해 예를 들자면 다음과 같이 구성될 수 있는 일련의 행동을 계획한다 : 문서 포매팅 명령 □latex paper.tex" 다음 미리보기 명령 "xdvi paper.dvi" 다음 프린트명령 □lpr paper.dvi". 이 접근방식의 문제점은 전통적 인공지능 로봇의 문제와 정확히 똑같다. 완벽하고 일관된 그러한 모델을 제공하는 것이 어려우며, 그 모델은 곧 낡은 것이 된다.( 사용자의 작업이 변함에 따라 ) 계산의 복잡함 때문에, 시스템은 매우 느린 반응을 보일 것이다. 예를 들면 사용자가 작업중에 할 일을 바꾼다던가 관례적이지 않거나 비이성적인 방식으로 작업을 수행한다던가 하는 등의 예상할 수 없는, 시스템이 다룰 수 없는, 어떤 종류의 사건이 발생할 수도 있다.

대신 자율 적응 접속 주체( interface agent )는 다음과 같이 만들어질 수 있다[39]. 작업의 작은 측면에 대해 전문적( 또는 전문적이 되고자하는 ) 몇 개의 능력 모듈( competence module )이 만들어진다. 예를 들면, 어떤 모듈은 "lpr"과 같은 특정한 명령을 불러내는 것을 책임질 수 있을 것이다. 주체는 학습의 이상적 원천을 갖고있는 환경에 처해진다 : 사용자의 행위( user's behavior ). 모듈 각각은 사용자 행동의 특정 측면에 관한 통계를 관리하며 사용자를 관찰함으로써 정보를 수집한다. 예를 들면 조금 전에 예로 들어졌던 모듈은 사용자가 □lpr"명령을 실행시키는 상황을 추적할 것이다. 그것은 기억된 어떤 상황과 매우 유사한 새로운 상황을 만날 때마다 사용제에게 □lpr"명령을 수행시킬 것을 권한다. 만일 열거되었던 명령들 각각에 몇 개의 전문 모듈이 있다면 각각은 자신이 언제 나서서 사용자에게 도움을 주어야하는 것인 지 안다. 관찰자의 입장에서 보면, 그것은 시스템이 문서를 만드는 데에 필요한 작업을 앎으로써 사용자의 의도를 이해하는 것처럼 보이는 것이다. 그럼에도 사실 일련의 행동들은 단지 분산시스템의 새로운 특성( emergent property )에 불과한 것이다. 시스템은 사용자의 습관의 변화에 부드럽게 적응하고, 빠르게 반응하며, 완전히 고장날 가능성도 적다.

5.3 스케쥴 시스템( A scheduling system )

끝으로, 프로쎄서에 작업( process )을 할당하는 목표를 갖는 스케쥴링 시스템을 구성하는 문제를 고려해보자. 역시 문제영역은 매우 동적이다 : 새로운 작업( process )이 다른 기계에서 계속해서 생성된다. 전체의 목표( global goal )은 작업을 실행시키는 데에 드는 평균 시간을 최소화하는 것이고, 작업을 기계내에서( locally ), 또는 다른 기계에서 실행시킬 지를 결정해야한다. 어떤 기계는 갑자기 작업을 수행할 수 없게 되어 그 기계에서 돌고 있던 작업을 다시 스케쥴해야할 수도 있다. 이 일을 하기 위해서 전통적 인공지능은 스케쥴링과, 주어진 전형적인 일과 특정 환경( configuration )에 관한 많은 지식을 갖고 있어야 한다. 이 시스템은 현재의 상황에 대한 표현( representation of the current situation )을 가능한 한 자주 갱신할 것이다. 이것은 네트워크에 연결된 모든 기계로부터, 그것이 지금 사용가능한 지, 작업부담( workload )가 어느 정도인 지, 어떤 작업을 수행하고 있는 지 등에 대한 모든 정보를 수집해야 한다. 정보가 수집되면, 최적의 작업할당을 찾기위해 시스템은 체계적인 탐색을 할 것이다. 작업할당이 계획되면, 각 작업들은 할당된 기계에 보내질 수 있다. 이렇게 중앙집중적인 문제 해결 방식( This centralized way of solving the problems )은 이 분야에 대한 많은 이전의 연구에서 제시된다[29].

누구보다, Malone과 그 외( Malone et al. )[41]가 이 문제에 대해, □주체기반( agent-based )이라 불리우는 다른 해결책을 제안했다. Malone의 계획시스템( enterprise system )에선, 네트워크에 물린 각각의 기계들이 자율적이며 각자 자신의 작업부담에 대해 책임을 진다. 그 시스템은 시장의 은유( the metaphor of a market )에 기반하고 있다. 새로운 작업이 생성된 기계는 그 잡업에 대해 값을 부르라는 메시지( request for bids )를 다른 기계들에게 전달한다. 다른 기계들은 자신의 속도와 지금 하고 있는 작업들을 반영하는 추정완수시간( estimated completion time )  함께 그 기계에 응답한다. 예를 들어 수행되어야할 작업이 그래픽스 랜더링 작업이며, 어떤 기계에 그것을 위한 소프트웨어가 올려져 있다면, 그 기계가 그 새로운 작업에 좀 더 좋은 값을 부를 것이다.( 왜냐하면, 그 필요한 소프트웨어를 메모리에 올리는 데에 필요한 시간과 공간을 낭비하지 않을 수 있으므로 ). 값을 매기라고 요청했던 기계는 짧은 시간 동안 다른 기계들이 부른 값들을 모으고, 가장 좋은 값을 부른 기계에게 그 작업을 준다.( 자기 자신일 수도 있고, 다른 기계일 수도 있다. ) 이 분산 스케쥴링 시스템은 여러 가지 잇점이 있다는 것이 발견되었다. 어떤 한 기계가 다른 어떤 기계보다 결정적인 중요성을 갖고 있는 것이 아니기에( 중앙스케쥴러( central scheduler )가 없다 ), 시스템이 강건하다( robust ). 시스템 전체가 예상치 못한 상황에 부드럽게 적응할 수 있다. 이 해결방안은 , 고려할 수 있는 다른 요소들에 대해서도, 단순하고 매우 유연하다.

6. 현재 기술 단계의 개요( Overview of the state of the art )

5절에선, 적응하는 강건한 행동을 보이는 지능시스템을 구성하는 주체 접근방식에 대한 일반적 개요를 보여주었다. 이 절에선 제안된 특정 아키텍처들에 대한 더욱 더 자세한 설명을 하도록 한다. 게다가, 특정 아키텍처들의 한계와 열린 문제들이 무엇인지까지 설명한다. 2절에선 자율 적응 주체를 모델링하는 것의 두가지 하위 문제들을 제시했다 : 행동선택 문제와 경험학습의 문제. 이 절은 이 두 문제를 중심으로 구성된다. 현재까지 제안된 여러 가지 아키텍처들은 둘 중의 한 가지 문제에만 집중한다 : 세련된 학습과 단순한 행동선택을 하는 주체 또는 학습없이 매우 세련된 행동선택을 하는 주체. 두 문제 모두를 하나의 아키텍처 안에서 언급한 제안의 거의 없다고 할 수 있다. 이 절에선, 이 두 가지 문제에 대한 더욱 자세한 기술과, 이제까지의 진척상황과, 앞으로 토론될 남아있는 열린 문제를 보여준다.

6.1 행동 선택( Action Selection )

6.1.1 문제( The problem )

행동선택의 문제는 다음과 같이 기술될 수 있다 : 시간에 따라 변하는 여러 목표와, 수행가능한 행동들의 창고( repertoire )와 특정 센서 데이타를 갖는 주체가 있을 때, 목표달성을 최적화하기 위하여 이 주체가 다음에 취해야할 행동은 무엇인가? 한 가지 주목해야 할 것은, 경험학습을 고려하게될 때, 목표를 어떻게하면 더욱 잘 달성할 수 있을까를 학습하는 것이 목표의 하나이기 때문에, 문제가 약간 달라지게 된다.

고정된 목표를 갖고, 결정적 또는 확률적 환경( deterministic or probabilistic environment )에 처한 주체에게는 최적의 행동 선택 정책( policy )을 계산하는 것이 이론적으로는 가능하다[64]. 대부분의 실제 주체에게 있어 이것을 불가능하게 하는 것은 (a) 자원( 시간, 계산, 메모리와 같은 것들 )의 제약, (b) 시간에 따라 변하는 목표( time-varying goal ), (c) 동적이고 확률분포를 따르지 않는( dynamic and non-probabilistic ) 환경, (e) 알려지지 않은, 변할 수도 있는 확률분포 등을 다루어야 한다는 점이다.

주체가 만족시키고자 하는 목표는 여러 가지 다른 형태를 띤다 : 달성해야할 목표( goals of attainment ), 피해야할 상태( negative goal, states to be avoided ), 요구, 정력( drive ), 욕망, 과업( tasks ), 동기, 계획의 제약( constraints for a plan ), 어떤 상태변수( state variables )의 가능영역( viability zone ) 등. 주체는 전형적으로 다수의 충돌하는 목표를 갖는다. 완벽한 시스템은, 장애물에 충돌하지 않거나 배터리를 언제나 충전된 상태로 유지하는 것과 같은 자기보존의 목표와, 사무실의 집합을 감시하는 것과 같은 과업지향적인( task-oriented ) 목표의 조합을 갖는다. 주체의 목표는 내포적일 수도 있고, 밖으로 드러날 수도 있다.( implicit or explicit ) 내포적일 경우에 주체는, 달성하고자 하는 목표의 어떠한 명시된 내적 표현( explicit internal representation )도 갖지 않는다. 주체가 어떤 상황에 처해졌을 때, 주체가 특정 목표를 달성하게 행동하도록 만들어진다. 내포된 목표는 반드시 고정된다. 주체가 다시 프로그램되지 않는한 변할 수 없다. 보다 복잡한 주체는, 불대수의 참-거짓의 성격( Boolean on-off nature )과는 다르게, 강도를 갖고 시간에 따라 변할 수도 있는 명시된 목표를 갖는다. 예를 들면, 인공짐승( artificial animal )은 특정 배고픔의 수준과 목마름의 수준을 가질 수 있다.

한 주체에 대해 최적의 행동선택 정책이 무엇인가 증명하는 것이 불가능하다고 가정하면, 어떻게 제안된 어떤 해결방안을 평가할 것인가? 적응 자율 주체에 관한 연구는 가능한 최적의 행동 선택에 대해서는 별 관심을 갖지 않는다. 그것은, 행동선택이 강건한 지, 적응해나아갈 수 있는 지, 특정 환경과 과업에 의해 주어진 요구사항과 제약에 맞추어 목표를 달성할 수 있는 지에 대해서 관심을 갖는다. 이것은 무엇보다 다음과 같은 사항을 주체 메카니즘이 만족해야한다는 것을 의미한다.

* 목표에 기여하는 행동을 선호해야한다. 특히 목표에로 가장 큰 직척을 가져올 수 있는 행동을 선택한다.

* 기회와 우발( opportunities and contingencies )에 대해 유연히 대처할 수 있어야 한다.

* 실시간이어야 한다.( 환경과, 그것의 보조의 변화에 충분히 빨라야한다. )

* 각기 다른 목표에 대해 기여하는 행동들에 왔다갔다 다시 왔다 다시 갔다하는 과정( switching back and forth )이 최소화되어야 한다.

* 경험에 기반하여 성능이 향상되어야 한다.( 이에 관하여는 다음 절에서 더 자세히 다룬다. )

* 예상치 않은 변화가 일어났을 때나, 구성요소가 고장났을 때, 성능저하가 곱게 일어나야 한다.( graceful degradation )

* 절대 완전히 앞두가 막혀버린다거나( completely stuck in loop or deadlock situation ), 달성할 수 없는 목표를 정신없이 추구해서는 안 된다.

* 가장 중요하게는, 환경과 과업에 대해서 충분히 좋은 성능을 보여야한다.( good enough ) : 시간, 질 등과 같은 제약조건을 만족하면서 어떻게든 목표를 달성한다면, 그 주체는 받아들여질 수 있는 것으로 생각된다( considered to be acceptable ). 예를 들어, 로봇이 비록 최적의 경로를 따라다니지는 않는다 하더라도, 죽기 전에 배터리를 충전시키고, 사무실을 둘러본다는 과업지향의 목표에 충분한 진척을 보일 수 있다면, 그것은 받아들여질 수 있다. Brooks[11]는 이러한 기준을 □충분( adequacy )□라고 칭했다.

McFarland[44]는 이 마지막 지적을 더욱 깊이 연구하였다. 그는 주체의 행위를 평가하기 위해선 생태학적( ecological ) 접근방식을 취해야한다고 주장한다 : 만일 주체가 시장의 벽감( market niche )을 채운다면, 그 주체는 성공적이라고 생각해야한다. 즉, 그의 견해에 따르면, 주체의 행위가 적응한다는 것은, 선택적 시장의 압력( pressures of the marketplace )에 대한 행위를 최적화시켜야한다는 것을 의미한다. 하지만, 궁극적으로는 이것이 참이라고 할 지라도, 제안된 여러 가지 주체 아키텍처를 비교하기엔 그렇게 유용하지 않다.

Tyrrell[64]은 여러 가지의 행동선택에 대한 제안을 비교해보기는 하지만, 하나의 특정한 측정입력( benchmark )에 대해서만 비교한다. Mae[35]와 Wilson[67]은, 만일 환경과, 과업과 주체의 특정 성격( particular characteristics )이 언급되지 않는다면, 어떤 하나의 행동선택 모델이 다른 것보다 낳다 낳지 않다를 결정할 수 없다고 주장했다. 예를 들면, ( 바르지 못한 ) 행동이 비싼 어떤 환경내에서, 주체는 더욱 많은 예상을 해야한다. 만일 바르지 못한 행동의 손실이 무시할 만 하다면, 주체가 가끔 틀린 행동을 하는 것은 중요하지 않다 ; 많은 것이 대단히 빨리 변하는 환경내에서. 주체는 매우 빨리 행동해야 한다. 잡음이 섞인 센서를 가진 주체는, 틀린 센서 데이타를 읽었을 때 주체가 완전히 새롭고 다른 행동으로 전환하지 않게 하기 위해서, 행동선택에 있어 관성을 가져야 한다. 많은 센서를 가진 주체는 행동 선택을 위해 환경으로부터 도움을 많이 받고, 센서를 덜 가진 주체는 다음에 무엇을 할 것인가를 결정하는 데 있어 내적 상태 또는 메모리( internal state or memory )에 더욱 많이 의존하게 된다. Todd와 Wilson[62]과 Littman[32]은 여러 제안들을 비교하기 위한 좀 더 심오한 기반을 제공하는, 환경과 주체의 분류를 연구하기 시작했다.

6.1.2 진척( Progress Made )

이제까지 제안된 자율 주체의 행동 선택을 위한 모듈들은 다음 세 가지의 문제를 다루는 방식에 있어 차이를 갖는다.

1. 목표의 성질은?

2. 센서데이타의 성질은?

3. 중재 메카니즘과 명령융합( command fusion )은?

제안된 아키텍처는 다음과 같이 세 가지로 분류될 수 있다.

1. 손으로 만들어진, 평면 네트워크( Hand-built, flat network ). 몇 가지의 아키텍처는, 주체의 디자이너가 행동 선택의 문제를 처음부터 끝가지 해결하도록 요구한다. 그러한 아키텍처의 예로는, 포함 아키텍처( the Subsumption Architecture )[10]와 Connell의 논문[15]에서 보고된 포함 아키텍처의 최소화된 버전( minimalist version )과 그밖의 것들[1,4,14]을 들 수 있다. 이 아키텍처들은 모두, 디자이너가 환경과 작업을 주의 깊게 분석하고 반영모듈( reflex module )과 그것들의 출력을 조합하는 방법( 금지선( suppression and inhibition wire )과 단순한 중재회로를 통하여 )을 디자인하도록 요구한다.

이 부류의 아키텍처는 위의 세 가지 문제를 다음과 같이 다룬다 : 전형적으로 목표는 함축적이다; 그것들은 단지 디자이너의 생각 속에만 존재한다( 존재하지 않을 수도 있다 ). 주체는 여러개의, 서로 매우 다른 성격을 갖는, 목표를 갖을 수도 있다. 센서데이타의 성절은 무제한적이다. 어떤 모듈이 작동장치를 돌릴 것인가를 결정하는 중재 메카니즘은, 논리회로나 금지선( suppression and inhibition wire )을 통해 구현된다. 이 회로가 한 순간에 많아봐야 단 하나의 모듈이 작동장치를 제어하는 것을 보장한다. 위의 아키텍처 중 어떤 것도, 명령융합은 지원하지 않는다. 다시 말하면, 어떤 행동 선택 모델도, 두 개이상의 모듈이 동시에 작동장치에 명령을 보내는 것이 가능하지 않다는 것이다. 예를 들면, 두 개의 모듈의 출력을 평균하는 것이 불가능하다.

이 유형의 해결책의 약점은, 새로운 주체에 대해서 행동 선택의 문제를 어떻게 해결해야하는 지침을 별로 제공해주지 않는 다는 점이다. 이 아키텍처는, 잘 해봐야, 철학과 성공적 사례들과 새로운 주체를 만드는 데에 쓸 프로그래밍 언어를 제공하는 정도이다. 또 다른 결점은 해결책이 확장되지 않는다는 것이다. 더욱 복잡한 주체에 대해서는 해동선택과 모듈 사이의 중재가 손으로 풀리긴 너무 어렵다. 중재 네트워크는 종종, 디버깅이 힘든 복잡한 □스파게티□가 되어버린다. 마지막 단점은, 대부분의 아키텍처가, 시간에 따라 변할 수 있는 목표는 허용하지 않는다는 점이다.( 왜냐하면, 보통, 목표가 겉으로 명시되지 않기 때문에 )

2. 해석된 평면 네트워크( compiled, flat network ). 두 번째 부류의 아키텍처는 능력모듈 중재 회로의 디자인 과정을 자동화함으로써, 주체를 만드는 것을 용이하게 하고자 한다. 그러한 아키텍처의 예로는, Rex/Gaps 시스템[24], Behavior Networks[33], 그리고 Teleo-Reactive Tress 등을 들 수 있다. 그 아키텍처들은, 주체의 목표가 무엇이며 어떤 목표가 어떻게 다른 목표 또는 행동으로 환원될 수 있는 지, 모듈과 행동이 어떤것이며 그것의 조건과 예상되는 결과를, 디자이너가 일정 형식에 따라 명시할 것을 요구한다. 해석기( compiler )는 이러한 명시를 분석하여, 바라는 대로 목표를 찾아가는 행동을 구현하는 회로를 만들어 낸다.

Kaelbling과 Rosenschein의 연구[24]에선, 센서와 목표의 형으로서 참-거짓의 Bool형( Boolean type )만을 다룬다. 한편, 이것은 만들어질 수 있는 주체의 형에 제약을 가하지만, 다른 한 편으론, 주체가 목적을 달성하는 행동을 바르게 선택하도록하는 회로가 합성되었는 지 증명할 수 있다. 대부분의 연구에서, Mae의 것[33]을 제외하곤, 그러한 유형의 아키텍처는, 내포되고 고정된( implicit, fixed( not time-varying ) ) 목표를 갖는 주체를 만든다. 그렇지만 앞에 제시되었던 아키텍처와는 대조적으로, 디자이너의 형식적 명세를 통해 목표가 겉으로 명시된다. 이것은, 주체가 만일 다른 목표의 집합( a different set of goals )을 달성하고자 한다면 주체의 회로가 다시 합성되어야하는 것을 의미한다.

Mae[33,36]는 명시적이고 시간에 따라 변하는 목표( explicit time-varying goals )를 갖는 아키텍처를 제안한다. 해석된 중재 네트워크는 주체의 목표의 명시적 표현을 갖고, 그 목표들은 시간에 따라 변할 수 있는 강도를 갖고 있다( 예를 들어, 인공짐승의 배고픔 수준, 로봇의 배터리 재충전 동기 수준 ). 이 시스템은, 제한된 형태의 중재, 예측, 계획을 실행시간 중에( at run-time ) 만들어낼 수 있다. 좀더 구체적으로 이러한 과정들은, 현재의 센서데이타와 특정 목표( 또는 강도 )에 적절한 모듈에 작동 에너지를 축적시키는, 시간에 따라 변하는 활성화 처리로써 모델링된다. 다행히도 이 시스템에선 센서데이타가 Bool형으로 제약된다.

이 부류의 행동 선택 아키텍처의 단점의 하나는, 만들어질 수 있는 주체의 유형이 한정되어 있다는 것이다. 이것은, 앞의 범주의 아키텍처는 어떠한 모델도 제시 하지 않는 것에 반해, 이 아키텍처는 행동 관련 특정 모델을 제시하기 때문이다. 두 번째 문제는, 때때로 주체의 목표와 바람직한 행동에 대해 선언적 상세( declarative specification )가 매우 어렵다는 점이다. 끝으로 행동 선택은, 그것이 의존하고 있는 상세( specification )만큼만 훌륭할 것이라는 점이다. 디자이너의 상세에 문제가 있다면, 주체는 우리가 바라는 대로 동작하지 않을 것이다.

3. 손으로 만들어진, 계층 네트워크( Hand-built, hierarchical network ). 마지막 범주의 행동 선택 모듈은, 다른 행동 또는 능력 모듈을 보다 계층적으로 조직할 것을 제안한다. 그러한 아키텍처의 예로는, 포함 아키텍처( Subsumption Architecture )를 더욱 세련되게 만든 버전인 Agar[63], Hamsterdam[7], Rosenblatt, 그리고 Payton의 연구[51]들과, Tyrrell의 연구[64]를 들 수 있겠다. 그 아키텍처들의 대부분이, Lorenz와 Tinbergen과 같은 동물학자들이 제시한 동물 행위 모델로부터 크게 영감을 받았다. 전형적으로 그 아키텍처들은, 하이레벨 모드 또는 활동으로부터 중간레벨 합성 행동을 거쳐, 자세하고 기본적인 행동( detailed, primitive actions )에 이르는 계층구조로써 행동을 조직한다. 다만 기본행동( primitive actions )만이 실질적으로 실행되는 것이다. Tyrrell[64]과 Blumberg[7] 둘 다, 문제를 많은 다른 목표와 행동을 갖는 좀 더 복잡한 주체로 확장할 때는, 현재의 평면 네트워크보다, 적절한 행동을 결정하는 데 도움이 되는 더 많은 구조를 갖는 것이 바람직하다는 것을 증명하였다. 전형적으로 그것들은 높은 추상적 수준( higher abstraction level )의 어떤 행동 결정을 이용한다.

이 마지막 범주의 시스템은 보다 복잡한( 동물같이 ) 동기와 목표를 지원한다. 센서 모델과 어떻게 그것들이 행동 선택에 영향을 미치는가 하는 문제도 더 세련됐다. 예를 들어, 어떤 아키텍처는, 자극( 또는 데이타 )가 행동 선택에 영향을 미치는( 예를 들면, 단지 음식이 있느냐가 아니라, 음식의 존재 유무와 인지된 음식의 자극의 질은 어떤 것인가를 묻는 것 처럼 ) 어떤 □질( quality )□ 또는 □강도( intensity )□를 갖도록 했다. 처음 제시되었던 아키텍처와 같이, 이 부류의 아키텍처도 디자이너가 손으로 중재 네트워크를 설계하기를 요구한다. 동물행동학에 기반한 모델은, 원하는 행위을 얻어내기 위해선 조정되어야할 매개변수들을 많이 갖는 경향이 있기 때문에, 종종 이것은 매우 어렵고 요령이 필요한 작업이 된다.

6.1.3 열린 문제( Open problems )

행동 선택 연구에 커다란 진척이 있었다 할 지라도 많은 문제들이 아직 풀리지 않은 채로 남아있다.

* 목표 상호작용( goal interaction )과 목표의 성격에 관한 연구가 거의 없었다. 어떤 종류의 목표를 우리의 아키텍처가 지원해야 하는지, 어디서 그러한 목표가 생겨나는 것인지, 어떻게 그것은 시간이 흐름에 따라 바뀌어 가는지 등에 대해서 연구해야만 한다. Toates와 Jensen[61]은, 동물행동학과 심리학이 제시한 여러 다른 동기 모델( model of motivation )에 대한 훌륭한 개요를 제시했다.

* 대부분의 제시된 아키텍처에서, 문제를 확장시키는 것은 재앙을 초래한다. 이것은, 행위를 지배하는 복잡한 중재 네트워크를 만드는 데, 주체 디자이너에게 아무런 지원이 주어지지 않기 때문에, 특히 손으로 네트워크를 만들 때 더욱 그러하다. 조사되어야 할 가장 분명한 해결 방안은, 경험에 기반하여 네트워크를 학습, 적응 또는 발전[13]시키는 것[34]이다. 그렇지만 이러한 것의 실험이 아직까진 거의 이루어지지 않았다.

* 이것과 관련해서, 다른 주체에 다시 쓰일 수 있도록, 주체 네트워크의 조각들을 하나로 합치는 것에 대한 노력이 아직 부족하다. 첫 번째와 두 번째의 아키텍처가 공학의 관점에서 행동 선택의 문제를 줄일 수 있다해도, 만일 어떤 주체에서 잘 동작하는 어떤 부분적인 해결방식을 추상화시켜 다른 주체에 다시 사용할 수 있다면 매우 유용할 것이다. 예를 들면, 비슷한 환경에 처한, 비슷한 센서를 가진 다른 롯봇에 벽따르기 모듈( wall-following module )이 다시 사용될 수 있을 것이다.

* 다른 많은 저자들에 의해 지적된 바와 같이, 주체와 환경 사이의 상호작용 동력학이 아직 잘 이해되지 못 하고 있다. Beer[5]와 Kiss[28]와 Steels[56]가 동적 시스템의 관점에서의 접근을 시작한 데 반해, Kaelbling과 Rosenchein[24]은 논리적 모델을 제시했다. 그럼에도 불구하고, 능력 모듈의 분산 네트워크의 움직임이 어떻게 되는 것인지에 대한 일반적인 증명은 아직 요원하다.

* 제안된 아키텍처의 대부분이 명령융합의 문제는 다루지 않고 있다. 전형적으로 한번에 하나씩의 모듈만이 동작기( actuator )에 어떤 명령을 보낼 것인가를 결정한다. 여러 모듈의 출력이 하나로 합쳐질 수 있는 방안이 존재하지 않는다. Rosenblatt과 Payton[5]과 Blumberg[7]의 연구에 이러한 문제에 대한 해결방안에 대한 몇 가지의 제안이 소개된다.

* 상기의 모든 아키텍처들이 완전히 분산구조를 갖고( decentralized ) 중심된 상황( central state )은 전혀 갖고 있지 않다. 그 결과, 그것들은, Minsky[46]가 말한 바 B-brain의 부족을 겪고 있다. 그것들은 앞뒤가 꽉 막힌 상황에 고착될 수가 있다( get stuck in loop or deadlock situation ). ( 즉, 어떤 변화도 가져오지 못 한다는 것이 밝혀졌음에도 불구하고 같은 동작을 계속해서 반복하게 되는 것 )

* 이전 아키텍처의 대부분은( Chapman[14]의 것은 별도로 ) 인지와 행동에 대해 매우 작은 시야를 갖고 있다. 예를 들어, 능동적 또는 목표에 따르는 인지( goal-driven perception ) 기능을 갖거나, 다른 또는 더 많은 센서 데이타를 얻기 위해 행동을 취하는 아키텍처는 거의 없다.

6.2 경험학습( Learning from Experience )

6.2.1 문제( The problem )

앞 절에선, 행동 선택의 문제에 초점을 맞추어 자율 적응 주체에 대해 논의하였다. 거의 대부분의 아키텍처가 경험학습의 문제에 전혀 신경을 쓰지 않는다( Maes와 Brooks[34]의 아키텍처와 Mae[37]의 것을 제외하고 ). 이것은 그 아키텍처를 사용하는 주체는 매우 제한된 의미에서의 적응밖에 하지 못한다 : 그것들은 기회이건 우발이건( opportunities, contingencies ) 예상치 못한 상황에 대처할 수 있다. 그렇지만 그것들은 환경의 귀환( feedback )으로부터 학습을 하지는 않는다. 그것들은 경험에 기반 하여 목표달성의 능력을 향상시키지 못한다.

제안된 주체 아키텍처의 두 번째 범주는 어떻게 주체의 행위( 행동 선택 )가 시간이 흐름에 따라 향상될 수 있는가에 대해 초점이 맞추어진다. 경험학습은, 주체가 긴 시간에 걸쳐 강건하고 자율적인 행동을 하기 위해선 필수요건이다. 첫째, 주체를 프로그램 하는 것은 굉장히 어려운 일이기 때문이다. 주어진 행동과 환경의 상세를 정확하게 반영하는 복잡한 주체를 손으로 프로그램 하는 것은 거의 불가능하다는 것이 실질적으로 증명되었다. 둘째, 주체의 어떤 요소가 고장이 난다거나, 환경이 끊임없이 변할 수 있는 것이라면, 실행시간에 재프로그램되어야만하는 것이다( run-time reprogramming ). 적응행위( adaptive behavior )는 최종의 정적 지점으로 보아질 수는 없다. 진정으로 행위가 적응한다는 것은 본래, 동적 연속적인 과정이다. 그것은, 주체와 환경간의 장기적인 상호교류와 귀환작용으로부터 생겨나는 새로운 특성으로서 적응행위( adaptive behavior )를 바라보는 인공생명의 정신이다.

경험으로부터 학습하는 문제는 다음과 같이 정의될 수 있다. (a)행위와 행동모듈의 집합, (b)어떤 센서데이타, 그리고 (c)여러 개의 ( 시간적으로 변할 수 있는 ) 목표 등을 갖는 주체가 주어진 상태에서, 어떻게 경험에 기반 하여 그 주체의 행동선택을 향상시킬 수 있을 것인가? 어떻게 하면, 어떤 행동 후에 받게 되는 귀환을, 행동선택을 향상 향상시키는 방향으로 통합할 수 있을 것인가? 향상( improvement )은 전형적으로, 주체의 목표나 필요를 성취하는 데에 더욱 성공적이 되는 것을 의미한다. 주체의 목표의 성질에 따라서 이것은 여러 가지를 의미할 수 있다. 최종목표( attainment goal or end goal )의 경우엔, 목표를 달성하기 위해 필요한 행동의 평균적인 수와 평균 시간( 또는 다른 어떤 측정 기준에 따르는 비용 )이, 시간이 흐름에 따라 줄어드는 것을 의미할 것이다. 강화( reinforcement )를 극대화시키는 목표의 경우엔, 일정 시간 간격 동안에 얻는 평균적인 강화의 양을 증가시키는 것을 의미할 수 있을 것이다.

그것이 어떤 형의 목표를 다룰 수 있건 간에, 자율 주체의 학습을 위한 모델이라면 다음의 필요사항을 만족해야만 한다.

* 학습은 점증적이어야만 한다 : 주체는 모든 경험으로부터 학습해야 한다. 학습과 시행의 국면이 따로 있을 수 없다.

* 학습은, 목표에 관련이 깊은 정보를 가려취한다( biased toward learning knowledge that is relevant to the goals ). 복잡한 실제와 같은 환경 내에서는 배울 수 있는 모든 것을 배울 수가 없다.

* 학습은, 잡음, 확률적 환경( probabilistic environment )과 센서의 오류 등을 다룰 수 있어야 한다.

* 주체가 초기 지식( initial built-in knowledge )을 가지는 것이 가능하다면 더욱 좋은 학습모델일 것이다( 선험지식( prior knowledge )을 쉽게 얻을 수 있는 상황이라면 모든 것을 처음부터 배워야만 하지는 않을 수 있도록 ).

학습하는 주체의 아키텍처를 디자인하며 다루어야하는 세 가지의 하위 문제가 있다.

1. 어떤 행동선택메커니즘이 사용되는가?

2. 시스템이 어떻게 학습하는가? 어떤 방법으로, 시스템이 실험할 가정을 생성할 것인가? 어떻게, 어떤 가정이, 주체의 행위를 결정하는 데 사용될 가치가 있는 것인지 결정할 것인가?

3. 언제 이용하고 언제 탐구할 것인지 어떻게 결정할 것인가? 최선의 행동이라고 믿는 것을 행할 것인지, 아니면 배우기 위해 또는 더 좋은 방식을 찾기 위해 차선의 행동을 취할 것인지를 어떻게 결정할 것인가? 즉, 무엇이 주체에게 좋은 실험 전략이 될 것인가?

첫째 문제에 대해선, 학습 아키텍처가 순진하고 제한된 관점만을 제안해왔다는 것은 주목할 만하다. 종종 목표도 시간에 대해 고정되어 있고, 그것들의 집합은 매우 단순하다. 보다 자세한 문제는 먼젓번의 문제를 해결하고자할 때 나타난다. 예를 들면, 모든 학습 아키텍처는 신용할당( credit assignment )의 문제를 다루어야만 한다 : ( 바람직하건 바람직하지 않건 ) 어떤 결과를 가져온 것에 대해 어떤 행동이 ( 부분적 )신용을 받아야 하는가?

경험학습에 대한 여러 가지 제안들을 어떻게 비교 평가할 것인가? 행동선택의 문제와도 같이, 제안들을 비교하기는 일반적으로 매우 힘든 일이다. 환경, 주체, 과업에 대해서 특정 성격이 명시되지 않으면, 경험학습은 잘 정의될 수 없다. 따라서, 문제의 특정한 유형에 대한 제안들을 비교하는 것이 이치에 닿는다. 예를 들어, 메모리를 많이 갖고 있는 주체는, 그것이 배운 것에 대한 간명한 표현을 찾기 위해 많은 일반화를 하는 것보단 메모리 집약적( memory intensive ) 학습 방식을 더 잘 수행할 것이다. 어떤 환경 하에선, 초기지식을 쉽게 얻을 수 있고, 그것은 주체가 ( 처음부터 끝까지가 아니라 )부분적으로 프로그램 되는 것이 바람직하다는 것을 의미한다. 주어진 환경과 주체에 따라서 학습의 성격도 매우 상이하다. 대단히 예측가능하고 주체의 수명에 비해 매우 천천히 변화하는 환경 내에서는, 주체가 살아있는 동안 학습을 해야할 이유가 적다. 대신, 종의 수준에서( at the species level ) 진화기반 학습( evolution-based learning )이 요구되는 장기 적응을 다룰 수 있을 것이다[30]. Todd와 Wilson[32,62]의 연구는, 비교를 좀 더 의미있게하는 환경과 주체의 분류를 향한 첫걸음을 제시한다.

6.2.2 진척( Progress Made )

제안된 모든 아키텍처들은, 주체가 기본행동( primitive actions )이나 능력모듈의 한 집합을 갖는 것을 가정한다. 그것들은, 여러 다른 행동이나 모듈의 중재네트워크( arbitration network )를 학습하는 데에, 즉 언제 어떤 행동이 활성화되어야하는 지( 언제 어떤 행동이 작동장치의 제어를 갖게되는 지 )를 학습하는 데에 초점을 맞춘다. 제안된 아키텍처 중 몇은 새로운 합성행동( composite action )이나 합성모듈을 학습하는 것을 고려한다[18,40]. 그것들은, 주체가, 합성모듈의 중재네트워크뿐만이 아니라, 합성모듈들을 독립적으로 학습하는 것을 허용한다.

제안된 아키텍처들은 세 가지 유형으로 분류될 수 있다 : 강화학습( reinforcement learning system ), 분류기시스템( classifier system ), 모델 학습기( model learner ). 두 번째의 것은 첫 번째 것의 특수한 경우라고 할 수 있다. 그렇지만, 분류기시스템에 대한 연구가 많이 집중적으로 많이 이루어졌기 때문에, 그리고 이 시스템은 보통, 강화학습 시스템의 관점에서 논의되지는 않기 때문에, 이 두 시스템을 따로 살펴볼 것이다. 두 시스템 모두 학습 문제를 다음과 같이 정의한다 : 행동의 집합과 보상신호( reward signal )가 주어졌을 때, 축적된 ( 할인된 ) 보상을 극대화할 수 있도록, 상황에서 행동으로의 함수( 행동정책이라 불린다 )를 학습하도록 한다. 모델 학습 아키텍처에선, 행동이 어떻게 환경에 영향을 미치는가( 행동이 주어진 상황을 어떤 상황으로 전환시키는가 )에 대한 모델을 주체가 학습한다. 이것과는 무관하게, 주체는, 주어진 상황에서 어떤 행동의 중요성 또는 가치가 어느 정도인지 학습한다( 또는 추론한다 ). 위의 세 가지 조합으로 이루어진 흥미로운 아키텍처도 존재한다. 예를 들면, 어떤 시스템은 모델의 학습과 정책의 학습을 통합한다[8,59].

행동선택의 모델에서처럼, 제안된 많은 아키텍처가 동물 학습 이론( thoeries of animal learning )으로부터 많은 영감을 받았다. 그렇지만 행동선택 모델과는 대조적으로, 강화학습과 작용 조건화( operant conditioning )의 특정 이론에서, 제안된 계산모델( computational model )들에게 영감이 된 것은 동물생태학이라기보다 비교심리학( comparative psychology )이나 행동주의( behaviorism )이다.

1. 강화학습. 강화학습[26,59,60]의 아이디어는 다음과 같다 : (a)행할 수 있는 행동의 집합, (b)자신을 발견할 수 있는 상황의 집합, (c)무언가를 행할 때 받게되는 스칼라 보상신호( scalar reward signal )를 갖는 주체가 있다면, 그것의 목표는, 그것이 받게되는 축적할인보상( cumulative discount reward )을 극대화시키는 행동선택 정책을 따르도록, 행동선택 또는 환경에서 행동으로의 함수를 학습하는 것이다.

Q-학습[65]은 특히 인기 있는 강화학습 정책이다. Q-학습은 어떤 상황에서 어떤 행동의 가치가 얼마나 되는지, 모든 상황-환경의 짝을 학습하고자 시도한다. 구체적으로, 그 알고리듬은 모든 가능한 상황-행동의 조합을 저장하는 2차원 행렬을 학습하고자 하는 것이다. 시작할 땐 모든 값들이 초기값으로 설정된다. 그 시스템의 목적은, 어떤 상황 속에서 어떤 행위를 취할 때 기대할 수 있는 최대의 축적할인보상( cumulative discount reward )으로 수렴할 수 있도록 그 값들을 갱신하는 것이다. 그것은, 만일 주체가 그 상황에 그 행동을 취한다면 ( 지금부터 시작되는 )미래에 그 주체가 받을 수 있는 축적보상의 가장 큰 값을 의미한다( 즉, 지금 당장 받는 보상 더하기 이것 다음의 가장 좋은 행동을 취함으로써 받게되는 보상 ). 전에 열거되었던 다른 하위 문제들은 강화학습에 의해 다음과 같이 다루어진다.

i. 행동선택메커니즘 : 어떤 순간에도 주체는 항상 자신이 어떤 특정 상황에 처해있음을 안다.

ii. 학습 방법 : 주체가 어떤 행동을 행할 경우, ( 0일 수도 있는 ) 어떤 보상을 받을 수 있다. 다음 조금 전에 이용했던 상황-행동의 짝을 갱신한다. 특히,  그것이 처한 새로운 상황에서 기대할 수 있는 보상의 최대값 더하기 실제로 받은 보상을 더욱 잘 반영하기 위해, 그 상황-환경 짝의 값을 갱신한다.

iii. 탐구전략( Exploration Strategy ) : 어떤 상황하에서 주체는 보상을 최대화하는 행동을 선택하지 않을 수도 있다. 대신 더욱 흥미로운 대안의 증거 또는 데이타를 모을 가능성이 있어 임의의 행동을 취하는 것이다.

강화학습의 가장 매력적인 특징의 그것의 형식적 기반이다. 어떤 특정한 조건하에선( 예를 들면, 유한한 시도와 Markof 환경( an infinite number of trials and a Markovian environment ) ) 주체가 최적의 행동선택 정책으로 수렴해 나아간다는 것을 증명할 수 있다. 불행하게도, 실제의 복잡한 상황에서는 그러한 조건들을 거의 얻을 수 없다. 강화학습의 단점은 (a)시간에 따라 변하는 목표는 다루지 않는다는 것( 행동선택의 정책을 고정된 목표의 집합에 대해서만 학습한다 ); (b)목표가 변하면, 모든 것을 처음부터 다시 배워야한다는 것( Kaebling[27]은 이 문제를 극복하고자 노력하고 있다 ); (c)실제 응용에선 상태공간( state space ) 또는 상황과 행동의 짝의 수가 너무 크기 때문에, 실용적이 되기엔 학습에 너무 많은 시간이 든다는 것( 그 결과, 연구자들은 그 상태공간을 일반화하는 알고리듬을 개발하기 시작했다. ); (d) 학습이 상태공간의 가장자리에서만 일어나고( 어떤 보상을 받았을 때에만 이 보상에 이르기까지의 행동 수열을 학습하기 시작한다 ), 그 결과 길다란 행동의 일련( long action sequences )을 학습하는 데에는 매우 많은 시간이 필요하다는 것( [59]는 이 문제를 다룬다 ); (f)이 형의 아키텍처엔 초기지식을 심어주기가 어렵다는 것, 끝으로 (g)그 모델은 동시에 여러 가지의 행동이 취해질 수 있을 땐 학습을 할 수 없다는 것 등이 있다.

2. 분류기시스템( classifier system ). 학습하는 주체의 두 번째 범주는 분류기시스템을 기반으로 하고 있다[20]. 특히, Wilson[20]과 Booker[8]는 자율 적응 주체를 만들기 위해 분류기시스템이 어떻게 사용될 수 있는 지에 대해 연구해왔다. 그러한 아키텍처들은 강화학습 시스템의 특수한 경우라 볼 수 있다. 즉, 어떤 상황에서 어떤 행동을 취함으로써 얻는 보상을 어떻게 최적화시킬 것인가를 학습하고자 노력한다. 아이디어는, 주체는 분류기( classifiers )라 불리는 규칙의 집합과 그 규칙들의 성능에 대한 정보를 갖는다는 것이다. 시스템은 최소한, 모든 규칙에 대해 그 규칙의 값( 얼마나 좋은지 )을 표현하는 □힘( strength )□를 보관한다. 세 가지의 하부문제는 다음과 같이 다루어진다.

i. 행동선택메커니즘 : 외부 상태( external state ) 또는 센서 데이타와 내부 상태( internal state )를 포함하는 어떤 상황이 있을 때, 어떤 분류기의 조건목록( condition list )은 현재의 상황과 일치할 것이다. 일치하는 분류기들 중, 그것들이 갖고 있는 힘에 비례하여 하나 또는 그 이상의 분류기를 선택한다. 그 분류기들에 의해 제안된 행동이 실행된다( 이것은 내부상태의 변화를 포함할 수도 있다 ).

ii. 학습 방법 : 어떤 분류기가 실행될 때마다, 그것들은 바로 앞에 활성화되었던 분류기에게, 그것이 갖고 있는 힘의 약간을 준다. 이것은 □양동이 여단□( bucket brigade ) 알고리듬이라 불리우고, 신용 할당 문제( the problem of credit assignment )를 다루기 위해 고안됬다. 주체가 어떤 행동을 취할 때마다, 주체는 어떤 보상을 받을 수 있다. 이 경우, 그 보상은 방금 활성화되었던 모든 분류기( 활성화되지는 않았을 지라도 같은 행동을 제안했던 것들도 )의 힘을 증가시켜준다. 이러한 책략은, 보상에 기여하는 분류기의 힘이 기여하지 않는 것의 힘보다, 시간이 흐름에 따라 세어지고 따라서 더욱 자주 활성화되는 것을 보장한다.

iii. 탐구전략( Exploration Strategy ) : 분류기의 수는 고정된다. 때때로 주체는 힘이 없는 분류기를 제거하고 그것을 성공적인 것들의 돌연변이와 교차( mutation and crossover )에 의해 대치한다. 이 방법으로, 주체는, 좋은 해결방안의 주변에 머물면서, 계속해서 다른 방식을 탐구 평가할 수 있다.

분류시스템에 기반한 주체의 한가지 재미있는 측면은, 그것들이 보다 세련된 실험 전략을 사용한다는 것이다. ( 다른 강화시스템의 전략은 단지 무작위의 데이타를 골라잡는 것으로 구성되어 있다. ) 이러한 전략의 바탕이 되는 가정은, 존재하는 괜찮은( 성공적인 ) 방안에 약간의 변화를 가하거나, 촉망되는 방안들을 재결합시킴으로써, 문제에 대한 더욱 좋은 해결방안( 예를 들어 더욱 효과적인 행위 )을 찾을 수 있다는 것이다. 다른 강화학습 시스템들에 대한 분류기시스템의 또 다른 장점은, 행동과 상황의 일반화를 위한 일반적인 메카니즘을 내장하고 있다는 것이다( 즉, □#□ 또는 □무시□ 표시 ) 이것은 분류기 시스템이, 다른 수준의 추상화로( at different level of abstraction ) 상태공간의 일정 부분의 표본을 얻을 수 있게 하고, 그것은, 주체가 갖고 있는 특정 문제에 유용한 분류기의 가장 추상적인 표현을 찾기 위한 것이다. 불행스럽게도, 분류기시스템도 다른 강화시스템이 갖는 몇몇의 한계들, 특히 앞에 언급되었던, 시간에 따라 변할 수 있는 목표의 문제 (a)와 가장자리에서 학습이 일어나는 문제 (d)를 똑같이 갖고 있다. 게다가, 그것은 그것이 시도했던 모든 것에 대한 자취를 보관하지 않는다는 문제도 겪고 있다. 분류기 기반 주체는, 같은 분류기를 계속 다시 평가하게 된다. 힘이 없어 폐기 처분한 분류기를, 전에 뭘 했고 뭘 안 했는 지를 모르기 때문에, 곧장 다시 만들어낼 수도 있다. ( 하지만, 기약 없는 분류기를 시스템이 잊는다는 것은 행동선택을 효율적으로 만든다. )

3. 모델 학습기 : 경험 학습의 마지막 부류의 주체는, 시제로 정책지도( policy map )를 배우는 것이 아니라 행동의 원인이 되는 모델을 학습한다[18,37,49]. Piager의 유아 개발 이론( theories of development in infants )에 영감을 받은, Drescher의 모델은 아마도 가장 세련된 예일 것이다. 주체는, 어떤 상황에서 어떤 행동을 취하는 것의 결과에 대한 확률적 모델을 구성한다. 이러한 모델은, 어떤 환경과 목표의 어떤 집합이 주어졌을 때, 어떤 행동이 가장 적절할 것인가를 결장하는 중재 과정에 사용될 수 있다. 행동선택과 학습이 많이 분리되어 있다 : 사실, 한 주체의 학습요소는 다른 행동선택 메카니즘과 결합될 수도 있다.

대부분의 아키텍처에서( Sutton의 것[59]을 제외하고 ), 모든 가능한 상황-행동의 짝에서부터 주어진 상황에서 어떤 행동을 취했을 경우에 생길 수 있는 짝까지 모든 것을 학습하지는 않는다. 차라리 부분적 해동의 집합에서 부분적인 상황으로의 함수를 학습하는 것이다. 그것은, 상황의 중요한 측면( 필요충분조건이 되는 센서데이타 )으로부터 새로운 결과적 상황의 중요한 측면( 특히 조건에 의해 기술되는 상황에서 행동을 취하여 바뀌는 센서값 )으로의 함수를 만든다. (a)조건의 집합, (b)기본 또는 합성( primitive or composite ) 행동, (c)예상되는 결과의 집합( 그리고 그러한 결과들의 확률분포 )과 같은 것들의 조합은, 스키마( schema )[18] 또는 행위의 모듈( module of behavior )[37]이라고 불린다. 모델 학습 아키텍처는 세 가지의 하위문제를 다음과 같은 방식으로 다룬다.

1. 행동선택 메카니즘 : 이 아키텍처를 사용하는 주체들은, 시간에 따라 변하는, 여러 개의, 명시적인( time-varying, multiple, explicit ) 목표들을 다룰 수 있다. 목표와 강도의 집합이 주어지면, 주체는 실행시간에, 배워진 스키마 중 어떤 것이 목표를 달성하는 데 가장 적절하고 믿음직한가( relevant and reliable )를 계산해낸다. 학습과는 독립적인 가치 할당 과정( value assignment process )이 존재한다. 종종 가치 할당 과정은 믿음직하다고 판명된 모듈을 더욱 선호한다. 목표에 이르기까지 일련의 행동의 길이와 믿음직함을 교환하기까지도 한다. 전형적으로, 목표와 센서데이타가 주어졌을 때, 값을 할당하는 데에, 전개 활성화 과정( spreading activation process )[37]나 단순한 표적 번식 과정( marker propagation process )[18]이 사용된다.

2. 학습방법 : 어떤 특정한 행동이 취해질 때마다, 주체는 환경에 어떤 변화가 일어나는 지 지켜본다. 이것은, 어떤 조건-행동의 짝과 어떤 결과와의 상관관계를 학습하기 위해 이 정보를 이용한다. 어떤 행동이 취해지면, 적용 가능한 모듈/스키마( 취해진 행동과 같은 행동을 갖고, 타당한 조건 목록을 갖고 있는 것 )들의 모든 결과 목록( 그리고 확률분포 )이, 새로운 예를 반영하기 위해 갱신된다. 때때로, 주체는, 충돌하거나 믿을 수 없는 결과를 표현할 수 있기 위해, 기존의 스키마들에서 새로운 것을 제거해야될 때가 있다. 주체는 어떤 결과가 더욱 믿음직해지기 위해, 스키마/모듈에서 더욱 많은 조건이 고려될 필요가 있다는 것을 감지할 수 있어야하고, 그것은 주체가 더욱 길게 약간 달라진 조건을 갖는 모듈을 창조할 수 있게 한다.

3. 탐구전략( Exploration Strategy ) : 이러한 아키텍처에 사용되는 탐구전략은 다양하다. Drescher의 시스템은, 세련된 학습을 보여주면서도, □무작위□( randomness )라는 극히 단순한 탐구전략을 갖고 있다. 그의 주체는 무작위 실험을 수행함으로써 학습하는 것 이외엔 아무것도 하지 않는다. Foner[19]는,  관심초점 메카니즘( focus of attention mechanism )과 똑똑한 탐구전략( smart exploration strategy )을 도입함으로써, Drescher의 주체가 어떻게 더욱 빠르고 적절하게 학습할 수가 있는지를 논의한다. Mae의 아키텍처[37]에선, 탐구전략이 보다 목표 지향적이다. 주체는, 목표에 좀 더 많은 기여를 할 것으로 예상되는 행동에 더욱 많은 탐구를 한다. 같은 시스템에서, 탐구와 이용( exploration and exploitation )의 비율은, 해동선택 시스템의 새로운 특성이 된다. ( 더 많은 것을 배우면, 탐구를 덜 한다. )

모델학습기( model learner )의 가장 주요한 이점은, 그것이, 어떤 정황에서 배운 행위를 다른 상황으로 옳길 수 있다는 것이다( 예를 들면, 다른 목표 ). 시스템은 어떤 상황에서 행동을 취하면 어떤 상황이 오게되는가에 대한 모델을 세우기 때문에, 그것은 이 모델을, 특정한 목표들의 집합에 대한 도로지도( roadmap )로써 사용할 수가 있다. 그렇게 함으로써, 시간에 따라 목표가 또는 목표의 상대적인 중요성이 변할 수 있는 환경 하에서 다른 것보다 잘 하는 것이다. 이것은 또한, 그것들이, 목표와 연결된 상태공간의 가장자리에서만 학습하는 것이 아니라는 것을 의미하기도 한다. 그것들은 현재의 목표와 직접적으로 관계가 있다고 증명된 행동만이 아니라, 모든 행동으로부터 학습을 한다. 게다가, 디자이너가 바탕지식을 통합시키기도 훨씬 용이하다( 예를 들면, 행동의 결과에 대한 원인이 되는 모델( causal model )의 형태로써 ). 이 주체는, 만일 틀리다고 판정된다면, 언제든지 이 지식을 수정할 수도 있다. 이러한 형태의 주체의 약점은, 상황에서 최적행동( optimal action )을 구할 수 있는 직접적 함수를 갖고 있지 않기 때문에, 행동선택에 좀 많은 시간을 쓰는 것이다.

6.2.3 열린 문제( Open problems )

행동선택의 문제와 같이, 경험학습의 모델에 많은 문제가 남아있다. 다음에 제시되는 문제들은 상기한 세 가지의 학습에의 접근방식 모두에 적용된다.

* 좀더 현실적인 문제로 확장하는 것은, 위의 학습 알고리듬 모두의 문제이다. 논의된 학습 시스템의 계산은, 현실의 문제를 해결하는 복잡한 주체를 만드는 데에 실제로 유용하기엔 너무 복잡하다.

* 하나의 이유는, 주의 메카니즘( attention mechanism )을 구현하는 알고리듬이 거의 없기 때문이다. 예를 들어, Forner[19]는, 방향감각( spacial locality )과 같은 주의 메카니즘을 도입하는 것은 경험학습을 매우 다루기 쉬게 만들어 준다는 것을 보여주었다. 논의된 알고리듬의 대부분은, 어떤 결과는 그것을 일으키는 행동의 바로 뒤에 감지된다는 것과 같은 시간감각( temporal locality heuristic )만을 사용한다.

* 제안된 알고리듬의 대부분은 센서데이타를 일반화하는 것을 굉장히 잘 못 한다. 첫째, 센서테이타는, 더욱 굵게 또는 더욱 가늘게 표현 되지 못하고, 한 수준의 입자로써만 표현될 수 있다. 둘째, 제안된 알고리듬 중 어떤 것도, 다양한 센서데이타에 있는 구조나 유사성을 이용하지 않는다( 예를 들면, 망막의 여러 쎌들이 근접해있다는 것이나, 다른 쎌들이 어떤 행동에 대해서 비슷하게 영향을 받는다는 사실을 이용할 수 있을 것이다 ).

* 개발전략의 영역( domain of exploration strategies )에 더욱 많은 연구가 있을 수 있다. 존재하는 대부분의 알고리듬이 가장 가능한 한 가장 단순한 전략만을 사용한다 : 필요한 요구가 얼마나 급박하던지 간에, 또 드러나는 기회가 얼마나 흥미로운 것이던지 간에, 주체는 어떤 특정 분량의 시간만 실험해본다. (a) 이제까지는 시행되지 않았던 행동을 잠시 시도해본다던가, (b)최근에 전망이 밝게된 행동을 시도해본다던가 하는 아이디어를 사용하지 않고, 주체는 실험을 아무생각없이 행한다.

* 학습과 인지가 어떻게 상호작용을 하는지에 대한 흥미로운 모델이 부족하다. 현재 제안된 아키텍처 대부분에 제시된 인지 모델은 시야가 좁다. 주체가 행동과 관련짓고자하는 센서데이타의 집합은 단지 주어지는 것으로 생각된다. 시스템은 행동에 대한 학습과 인지에 대한 학습을 연관시키지 않는다. 그 시스템은 무엇에 주의를 집중해야하는가를 배우지 않고,  관심이 기울어져야하는 더 많은 특징을 배운다. 이상적으로는, 목표의 범주와 환경이 무엇을 요구하던 간에 그것에 기반 하여 환경을 인지하기 위한 새로운 특징과 범주들을 주체가 창조할 수 있어야한다( 예를 들어, 수평모서리밖에 없는 환경에서 자란 고양이는 수직모서리를 감지하는 능력은 개발시키지 않는다 ).

* 어떻게 행동선택과 학습이 상호작용을 하는지에 대한 세련된 모델이 부족하다. 특히, 현재 모든 알고리듬은 주체가 배워야하는 기본적 행동의 집합( the set of primitive actions )은 주어지는 것으로 간주한다. 센서데이타의 경우와 같이, 만일 기본적 행동의 집합이, 주어진 환경과 목표에서 가능한 행동의 연속 공간( continuous space of possible actions )을 적절하게 하는 하위분할에 기반하여 학습한다면 더욱 이치에 닿을 것이다.

* 우리는 학습의 역할이 무엇이며, 진화적응( adaptation through evolution )이나 문화적 학습( cultural learning )과 같은 다른 적응 현상과는 어떻게 상호작용 하는 지를 더욱 깊이 이해해야한다( Belew[6]도 참조하라 ). 학습 문제를 좀 더 용이하게 만들 수 있도록 어떤 □건설단위□( building blocks )를 진화가 제공해주는지를 더 잘 이해해야한다( 즉, 학습을 위해서 편견을 미리 심어주는 것이나 또는 전문구조를 미리 만들어주는 것 등 ).

* 끝으로, 이제까지 취해진 접근방식의 대부분은, 동물행동학이 아니라, 주로 행동주의나 비교심리학으로부터 영감을 받았다. 동물생택학적인 접근방식을 통해 많은 것을 얻을 수 있을 것이다. 예를 들면, 동물학자들은, 동물들은 특정한 학습을 위한 내장된 감수성 기간( built-in sensitivity period )을 갖고 있다는 것을 보였다. 그러한 기간들은, 학습 작업의 복잡함을 줄여주며 배워야하는 능력을 고르는데 최적인 상황과 일치하는 경향이 있다.

7. 결론( Conclusions )

자율 주체 연구는 지능연구에 대한 매우 흥미로운 접근방식을 대표한다. 지금까지, 이 새로운 접근방식은 몇 가지 개념증명( proofs of concepts )을 보여주었다. 특히 이동로봇과 software 주체 영역에선 고무적인 성공이 보고되었다. 이전까지는 덜 효과적이거나 더 비용이 많이 드는 방법에 의해서만 풀려지거나 풀릴 수 없었던 실제의 문제를 해결해낸 몇 가지 원형( prototype )이 만들어졌다. 이 접근 방식은, 이 분야에 대한 출판과 연구프로젝트의 폭발로 증언될 수 있는, 인공지능의 새로운 경로에의 큰 충격을 명백히 일으켜내었다.

그럼에도 어떤 문제들은 새로운 아이디어와 더 낳은 해결을 요구하는 것이 명백하다. 확인된 주된 문제는 이 접근방식을 보다 크고 복잡한 시스템으로 확장하는 것이다. 제안된 툴과 기술들은, 많은 다른 목표를 갖는 복잡한 주체를 디자인하거나 손으로 만드는 데에 충분한 지원을 해주지 못 하고 있다. 제안된 학습 기술은 계산이 너무 복잡하여, 적응 주체의 자동 개발을 (실시간에) 다룰 수 없는 문제로 만들었다.

게다가, 새로운 접근방식이 더 발견되기 위해서는, 더 많은 기반연구가 착수되어야 한다. 우리는, 특정 아키텍처와 제안들을 비판적으로 비교하기 위하여 주체들이 다루어야하는 문제들의 유형들을 이해해야만 한다. 예를 들면, 여러 다른 행동선택 모델들이 제안되었으나, 우리가 행동선택 문제를 더욱 잘 이해하지 않는다면, 우리는 그 다른 제안들을 비교할 수 있는 어떤 근거도 갖지 못 한다.

더 좋은 평가기준은 별도로 하고, 우리는 근저의 원리에 대한 더 깊은 이해가 필요하다. 특히 새로이 나타나는 행동( emergent behavior )에 대한 한계와 메카니즘을 이해하는 것이 중요하다. 어떻게, 단순한 여러 모듈들 사이의 상호작용에 기반하여 전반적으로 요구되는 구조와 기능을 디자인할 수 있는가? 새로이 나타나는 구조( emergent structure )가 안정적일 수 있는 제한과 조건은 무엇인가? 복잡한 동력학( complex dynamics )으로부터 비롯되는 툴들을 이용해서 새로이 나타나는 기능( emergent functionality )에 한 걸음 다가간 연구가 제안되었다[5,28,56]. 그렇지만 지금까지 제안된 이론들은 매우 단순한 장난감 예에만 적용될 수 있을 뿐이다.

지금은 풀리지 않는 주체 접근방식에 고유한 긴장이 존재한다. 자율주체에 관한 연구는 매우 작업특수하고( task-driven ), 실용적인 해결 방안들을 적용해왔다. 그 결과, 이 접근방식을 이용한 주체들은, 보다 일반적인 법칙과 원리들의 구현이라기 보다, 요령의 더미처럼 보이게 되었다. 이것은 이 분야가 공학적 규율( engineering discipline )로 발전할 것임을 의미하는 것인가, 아니면 더욱 더 과학적인 규율( scientific discipline )로 가는 길을 찾아낼 것을 의미하는 것인가?

Acknowledgment

Bruce Blumberg, Leonard Foner, Chris Langton, Yezdi Lashkari, Maja Mataric 과 Stewart Wilson은 이 논문의 초안에 대해 소중한 논평을 해주었다. Chris Langton은 용기를 북돋아주었고 대단한 끈기를 보여주었다.

References

1. Agre, P.E. (1991). The dynamic structure of everyday life. Cambridge University Press.

2. Ballard, D. H. (1989). Reference frames for animate vision. In Proceedings of IJCAI-89 Conference. Detroit.

3. Bates, J., Loyall, B., & Reilly, W. (1991). Broad agents. In Proceedings of the AAAI Spring Symposium on Integrated Intelligent Architectures. Stanford, CA (available in SIGART Bulletin, 2(4), 38-40, 1991).

4. Beer, R., Chiel, H., & Sterling, L. (1990). A biological perspective on autonomous agent design. In: P. Maes(Ed.), Designing autonomous agents: Theory and practice from biology to engineering and back. Cambridge, MA: The MIT Press/Bradford Books.

5. Beer, R. (1992). A dynamical systems perspective on autonomous agents(Tech. Rep. No. CES-92-11). Department of Computer Engineering and Science, Case Western Reserve University, Cleveland, OH.

6. Belew, R. (1989). Evolution, learning and culture: Computational metaphors for adaptive algorithms (CSE Tech. Rep. No. CS89-156). UCSD Computer Science and Engineering Department, San Diego, CA.

7. Blumberg, B. (in press). Action-selection in Hamsterdam: Lessons from ethology. Submitted to the Third International Conference on the Simulation of Adaptive Behavior. Brighton, UK.

8. Booker, I. (1988). Classifier systems that learn internal world models. Machine Learning Journal, 1(2), 3.

9. Braitenberg V. (1984). Vehicles: experiments in synthetic psychology. Cambridge, MA: The MIT Press/Bradford Books.

10. Brooks, R. A. (1986, April). A robust layered control system for a mobile robot. IEEE Journal of Robotics and Automation, RA-2.

11. Brooks, R. A. (1991). Intelligence without reason, computers and thought lecture. In Proceedings of IJCAI-91. Sidney, Australia.

12. Brooks, R. A. (1991). Challenges for complete creature architectures, In J.-A. Meyer & S. W. Wilson (Eds.), From animals to animats, Proceedings of the First International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

13. Brooks, R. A. (1992). Artificial life and real robots. In F. Varela and P. Bourgine (Eds.), Toward a practice of autonomous systems, Proceedings of the First European Conference on Artificial Life. Cambridge, MA: The MIT Press/Bradford Books.

14. Chapman, D.(1992). Vision, instruction and action. Cambridge, MA: The MIT Press.

15. Connell, J. (1990). Minimalist mobile robotics: a colony-style architecture for an artificial creature. San Diego: Academic Press.

16. Deneubourg, J. I., Goss, S., Franks, N., Sendova-Franks, A., Detrain, C., & Chretien, L. J.-A. Meyer & S. W. Wilson (Eds.), From animals to animats, Proceedings of the First International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

17. Deneubourg, J. I., Theraulaz, G., & Beckers, R. (1992). Swarm-made architectures. In F. J. Varela & P. Bourgine (Eds.), Toward a practice of autonomous systems, Proceedings of the First European Conference on Artificial Life. Cambridge, MA: The MIT Press/Bradford Books.

18. Drescher, G. L. (1991). Made-up minds: A constructivist approach to artificial intelligence. Cambridge, MA: The MIT Press.

19. Foner, L. and Maes, P. (in press). Paying attention to what's important: Using focus of attention to improve unsupervised learning. Submitted to the Third International Conference on the Simulation of Adaptive Behavior. Brighton, UK.

20 Hollan, J. H. (1986). Escaping brittleness: the possibilities of general-purpose learning algorithms applied to parallel rule-based systems. In R. S. Michalski, J. G. Carbonell, & T. M. Mitchell (Eds.), Machine learning, an artificial intelligence approach( Vol. II). Los Altos: Morgan Kaufmann.

21. Hollan, J. H. (1992). The optimal allocation of trials (chap. 5). In Adaption in natural and artificial systems. Cambridge, MA: The MIT Press/Bradford Books.

22. Horseill, I.(1992). Characterizing adaptation by constraint. In F. J. Varela & P. Bourgine (Eds.), Toward a practice of autonomous systems, Proceedings of the First European Conference on Artificial Life. Cambridge, MA: The MIT Press/Bradford Books.

23. Horswill, I. (1993). Specialization of perceptual processes. Unpublished doctoral dissertation, AI Laboratory, MIT, Cambridge, MA.

24. Kaelbling, L. P., & Rosenschein, S. (1990). Action and planning in embedded agents. In P. Maes (Ed.), Designing autonomous agents: Theory and practice from biology to engineering and back. Cambridge, MA: The MIT Press/Bradford Books.

25. Kaelbling, L. P. (1992). An adaptable mobile robot. In F. J. Varela & P. Bourgine (Eds.), Toward a practice of autonomous systems, Proceedings of the First European Conference on Artificial Life. Cambridge, MA: The MIT Press/Bradford Books.

26. Kaelbling, L., P. (1993). Learning in embedded systems. Cambridge, MA: The MIT Press.

27. Kaelbling, L. P. (1993). Learning to achieve goals. In Proceedings of IJCAI-93, the Thirteenth InternationalJoint Conference on Artificial Intelligence. Morgan Kaufmann.

28. Kiss, G. (1991). Autonomous agents, AI and chaos theory. In J.-A. Meyer & S. W. Wilson (Eds.), From animals to animats, Proceedings of the First International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

29. Kleinrock, L., & Nilsson, A. (1981, July). On optimal scheduling algorithms for time-shared systems. Journal of the ACM, 28, 3.

30. Koza, J. R. (1991). Evolution and co-evolution of computer programs to control independently-acting agents. In J.-A. Meyer & S. W. Wilson (Eds.), From animals to animats, Proceedings of the First International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

31. Lin, L.-J. (1992). Reinforcement learning for robots using neural networks. Unpublished doctoral thesis, Carnegie Mellon University, School of Computer Science.

32. Littman, M. (1993). An optimization-based categorization of reinforcement learning environments. In J.-A. Meyer, H. L. Roitblatt, & S. W. Wilson (Eds.), From animals to animats 2, Proceedings of the Second International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

33. Maes, P. (1990). Situated agents can have goals. In P. Maes (Ed.), Designing autonomous agents: Theory and practice from biology to engineering and back. Cambridge, MA: The MIT Press/Bradford books.

34. Maes, P., & Brooks, R. A. (1990). Learning to coordinate behaviors, Proceedings of AAAI-90. Boston.

35. Maes, P. (1991). Adaptive action selection. Proceedings of the Thirteenth Annual Conference of the Congnitive Science Society. Hillsdale, NJ: Lawrence Erlbaum Associates.

36. Maes, P. (1991). A bottom-up mechanism for behavior-selection in an artificial creature. In J.-A. Meyer & S. W. Wilson (Eds.), From animals to animats, Proceedings of the First International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

37. Maes, P. (1992). Learning behavior networks from experience. In F. J. Varela & P. Bourgine (Eds.), Toward a practice of autonomous systems, Proceedings of the First European Conference on Artificial Life. Cambridge, MA: The MIT Press/Bradford Books.

38. Maes, P. (1993). ALIVE: An artificial life interactive video environment. In Visual Proceedings of the Siggraph-93 Conference. ACM Press.

39. Maes, P., & Kozierok, R. (1993). Learning interface agents. Proceedings of AAAI-93, the Eleventh National Conference on Artificial Intelligence. Cambridge, MA: The MIT Press.

40. Mahadevan, S., & Connell, J. (1991). Automatic programming of behavior-based robots using reinforcement learning. In Proceedings of the Ninth National Conference on Artificial Intelligence. Cambridge, MA: The MIT Press.

41. Malone, T. W., Fikes, R. E., Grant, K. R., & Howard, M. T. (1988). Enterprise: A market-like task scheduler for distributed computing environments. In B. Huberman (Ed.), The ecology of computation. North-Holland.

42. Mataric, M. J. (1991). Behavioral synergy without explicit integration. In SIGART, 2(4) (special issue on Integrated Cognitive Architectures).

43. Mataric, M. J. (1992). Integration of representation into goal-driven behavior-based robots. IEEE Transactions on Robotics and Automation, 8(3), 304-312.

44. McFarland, D. (1991). What it means for a robot behavior to be adaptive. In J.-A. Meyer & S. W. Wilson (Eds.), From animals to animats, Proceedings of the First International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

45. Meyer, J.-A., & Guillot, A. (1991). Simulation of adaptive behavior in animals: review and prospects. In J.-A. Meyer & S. W. Wilson (Eds.), From animals to animats, Proceedings of the First International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

46. Minsky, M. (1986). The society of mind. New York: Simon and Schuster.

47. Nilsson, N. (1984). Shakey the robot (Tech. Note No. 323). SRI A.I. Center.

48. Nilsson, N. J. (1992, January). Toward agent programs with circuit semantics (Rep. No. STAN-CS-92-1412). Department of Computer Science, Stanford University, Stanford, CA.

49. Payton, D. W., Keirsey, D., Krozel, J., & Rosenblatt, K. (1992). Do whatever works: A robust approach to fault-tolerant autonomous control. Journal of Applied Intelligence, 3, 225-250.

50. Resnick, M. (1992). Beyond the centralized mindset: explorations in massively parallel microworlds. Unpublished doctoral thesis, MIT Media-Laboratory Epistemology and Learning Group, Cambridge, MA.

51. Rosenblatt, J., & Payton, D. (1989, June). A fine-grained alternative to the subsumption architecture for mobile robot control. In Proceedings of the International Joint Conference on Neural Networks. IJCNN, Washington, DC.

52. Sheth, B., & Maes, P. (1993). Evolving agents for personalized information filtering. In Proceedings of the IEEE Conference on Artificial Intelligence for Applications. IEEE Press.

53. Shrager, J., & Callanan, M. (1991). Active language in the collaborative development of cooking skill. In Proceedings of the Cognitive Science Conference. Hillsdale, NJ: Lawrence Erlbaum Associates.

54. Simon. H. (1969). The sciences of the artificial. Cambridge, MA: The MIT Press.

55. Steels, L. (1990). Exploiting analogical representations. In P. Maes (Ed.), Designing autonomous agents: Theory and practice from biology to engineering and back. Cambridge, MA: The MIT Press/Bradford Books.

56. Steels, L. (1991). Towards a theory of emergent functionality. In J.-A. Meyer & S. W. Wilson (Eds.). From animals to animats, Proceedings of the First International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

57. Suchman, L. A. (1987). Plans and situated actions: The problem of human-machine communication. Cambridge University Press.

58. Sullivan. J. W., & Tyler, S. W. (Eds.) (1991). Intelligent user interfaces. New York: ACM Press.

59. Sutton, R. S. (1990). Integrated architectures for learning, planning and reacting based on approximating dynamic programming. Proceedings of the Seventh International Conference in Machine Learning.

60. Sutton, R. S. (1991). Reinforcement learning architectures for animals. In J.-A. Meyer & S. W. Wilson (Eds.), From animals to animats, Proceedings of the First International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

61. Toates, F., & Jensen, P. (1991). Ethological and psychological models of motivation-towards a synthesis. In J.-A. Meyer & S. W. Wilson (Eds.), From animals to animats, Proceedings of the First International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

62. Todd, P., & Wilson, S. (1993). Environment Structure and Adaptive Behavior from the Ground Up. In J.-A. Meyer, H. L. Roitblat, & S. W. Wilson (Eds.), From animals to animats 2, Proceedings of the Second International Conference on Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

63. Travers, M. (1989). Animal construction kits. In C. Langton (Ed.), Artificial life. Redwood City, CA: Addison Wesley.

64. Tyrrell, T. (1993). Computational mechanisms for action selection. Unpublished doctoral thesis, Centre for Cognitive Science, University of Edinburgh.

65. Watkins, C. (1989). Learning from delayed rewards. Unpublished doctoral thesis, King's College, Cambridge.

66. Wilson, S. W. (1985). Knowledge growth in an artificial animal. In J. Greffenstette (Ed.), Proceedings of the First International Conference on Genetic Algorithms and their Applications. Hillsdale, NJ: Lawrence Erlbaum Associates.

67. Wilson, S. W. (1991). The animat path to AI. In J.-A. Meyer & S. W. Wilson (Eds.), From animals to animats, Proceedings of the First International Conference on the Simulation of Adaptive Behavior. Cambridge, MA: The MIT Press/Bradford Books.

68. Whitehead, S., & Ballard, D. (1990). Active perception and reinforcement learning. In Proceedings of the Seventh International Conference on Machine Learning. Austin, TX.