최적화로 얻어진 거듭제곱 분포 - HOT

미첸마허의 논문에 제시된, 최적화를 통해 거듭제곱 분포가 얻어지는 원리를 #에 소개했습니다. 오늘은 그 논문에 참고문헌으로 달려 있는 칼슨과 도일의 논문을 간단히 소개합니다. 서지사항은 다음과 같습니다.

J.M. Carlson and John Doyle, Highly optimized tolerance: A mechanism for power laws in designed systems, Phys. Rev. E 60, 1412-1427 (1999).

논문 제목 중 첫 세 낱말의 약자가 HOT입니다. 굳이 한글로 옮기자면 '매우 최적화된 허용' 쯤 되려나요;; 그냥 편하게 HOT라고 하겠습니다. 사실 이 논문 끝까지 보지도 않았고, '최적화를 통한 거듭제곱 분포 유도'만 정리하려고 합니다.

실제공간이든 상태공간이든 X라고 씁니다. 이 공간 위의 한 곳 x에서 사건이 시작될 확률을 p(x)로 씁니다. 숲불 모형(forest fire model)으로 생각하면, 2차원 평면의 각 자리에 나무가 있거나 없고 이웃한 자리에 있는 나무들끼리는 하나의 작은 '숲'을 만든다고 생각합니다. 그런데 번개가 랜덤하게 치는데 거기 맞은 나무에서 불이 나기 시작합니다. 그 나무가 속한 숲으로 불이 모두 번지고 끝나겠죠. 어떤 위치 x에 있는 나무에 번개가 칠 확률이 p(x)입니다.

이 불로 인해 타버린 나무의 개수 또는 타버린 영역의 면적을 A(x)라 합니다. 이 사건으로 인해 치룬 비용은 C(x)라고 하는데 물론 A에 따라 커지는 값입니다. 일반적으로 C와 A가 거듭제곱 관계에 있다고 가정합니다. (왜?)

\(C(x)\sim A(x)^\alpha\)

사건의 기대비용은 다음과 같습니다.

\(E(A^\alpha)=\int_X p(x)A(x)^\alpha dx\)

사건으로 인한 피해를 줄이기 위해 방화벽을 세우는 등 할 일이 생기는데 이를 위해 필요한 자원을 R(x)라고 합니다. 자원의 양이 다음처럼 한정되어 있다고 합니다.

\(\int_X R(x)dx=\kappa\)

여기서 R의 정의가 좀 모호한데, x에서 시작한 사건을 제한하기 위해 필요한 자원으로 보입니다. 이 R도 A와 거듭제곱 관계에 있다고 또 가정합니다.

\(A(x)=R(x)^{-\beta}\)

R이 커지면 방화벽을 많이 세우니까 A가 줄어들겠죠. 자원에 대한 제약 조건 하에서 비용을 최소화함으로써 '최적화'를 하겠다는 말입니다. (라그랑지 곱수 방법으로 보이네요.)

\(\delta[E(A^\alpha)-\lambda\kappa]=0\to \delta\int_X[p(x)A(x)^\alpha-\lambda R(x)]dx=0\)

오른쪽 식의 적분 안에 대괄호 안이 0이 되도록 하고 A와 R 사이의 관계를 이용하면 p와 A의 관계가 다음처럼 얻어집니다.

\(p(x)\sim A(x)^{-\gamma},\ \gamma=\alpha+1/\beta\)

p의 분포를 알면 A의 분포도 P(p)dp=P(A)dA를 통해 바로 알 수 있습니다. X가 1차원 공간이고 x가 연속일 때, p(x)가 거듭제곱 꼴이거나 지수함수, 가우스