2026년 9월 30일 · 용티IYPT 1992 · 문제 11 · 비선형·복잡계

기억이 에너지 골짜기가 되는 순간 — 홉필드 모형

V2 공개자료 교차확인 — 둘 이상의 독립된 자료로 확인

탐구 주제

IYPT 1992 문제 11 ‘Hopfield model’에 관한 원리 해설과 탐구 설계입니다.

IYPT 1992 공식 문제 보기

교육과정 연결

고등학교 통합과학1 「시스템과 상호작용」(상호작용이 낳는 집단 성질) / 물리학·진로선택 「전자기와 양자」·「역학과 에너지」(에너지가 낮은 상태로의 이완) / 컴퓨터 시뮬레이션은 「정보」(모델링·알고리즘), 데이터 해석은 과학탐구실험1·2와 연계 (2022 개정 교육과정, 단원 코드는 NCIC에서 최종 확인).

핵심 개념

연상 기억(내용 주소화 기억), 홉필드 신경망, 이징 모형, 스핀(±1), 스핀 글라스, 대칭 결합 가중치, 에너지 함수(리아푸노프 함수), 에너지 지형·끌개(극소), 국소·전역 최소, 헤브 규칙, 비동기 갱신, 겹침(질서 변수), 패턴 완성·오류 정정, 저장 용량 한계(0.138N), 가짜 극소·섞임 상태, 상전이, 현대 홉필드 망·어텐션

원리 살펴보기

흐릿하고 얼룩진 그림 조각만 보고도 원본을 통째로 떠올릴 수 있을까? 홉필드 모형은 그림의 픽셀 하나하나를 뉴런으로 삼는다. 검은 픽셀은 +1, 흰 픽셀은 −1 — 자석의 위·아래를 가리키는 이징 스핀과 똑같다. 뉴런들은 대칭 결합 가중치 w_ij로 이어지고, 계에는 에너지 E = −½ Σ w_ij s_i s_j가 정의된다. 한 뉴런이 이웃이 끌어당기는 쪽으로 부호를 바꿀 때마다(s_i ← sign(Σ w_ij s_j)) 이 에너지는 결코 오르지 않고 아래로만 흘러, 마침내 어떤 골짜기(극소)에 멈춘다. 그래서 저장된 이미지는 이 지형의 골짜기가 되고, 얼룩진 입력은 비탈을 굴러 근처 골짜기로 내려간다 — 저장이 적을 때는 그 골짜기가 곧 원본이다.

그러면 이미지는 어떻게 골짜기로 새겨 넣을까? 헤브 규칙이 답이다. 저장할 그림마다 같은 색인 두 픽셀의 결합은 강화하고 다른 색이면 약화한다(w_ij = Σ_μ ξ_i^μ ξ_j^μ). 저장한 그림 수만큼 지형에 골짜기가 파인다. 원문의 “구별(distinguishing)”이란 곧 망가진 그림을 가장 가까운 골짜기로 굴러가게 하는 일 — 연상 기억이다. 그러나 골짜기를 무한정 팔 수는 없다. 헤브 규칙으로는, 서로 닮지 않은 무작위 패턴이라면(뉴런 수가 아주 많을 때의 이론값) 저장 패턴 수가 뉴런 수 N의 약 0.138배를 넘는 순간, 골짜기들이 뭉개지고 가짜 골짜기가 폭증해 기억이 무너진다. 이 0.138N은 통계역학(스핀 글라스 이론)이 예측한 값으로, 이 문제의 핵심 정량 결과다.

왜 이것이 물리 문제일까? 이 신경망이 ±1 스핀과 대칭 결합, 가장 낮은 곳을 찾는 에너지를 가진 이징·스핀 글라스 계이기 때문이다 — 자석과 똑같은 통계역학이 기억을 빚는다. 홉필드는 1982년 이 물리로 신경망을 세웠고, 2024년 노벨 물리학상은 이 공로로 홉필드(와 힌턴)에게 돌아갔다. 쓰임새도 넓어 연상 기억·오류 정정(부서진 데이터에서 원본 복원), 최적화 문제 풀이(어려운 문제를 에너지로 바꿔 최소화), 현대 인공지능의 어텐션(트랜스포머의 어텐션과 수학적으로 등가인 “현대 홉필드 망”)에 이 원리가 이어진다.

실험 설계

준비물

컴퓨터와 파이썬(NumPy, 작은 격자는 스프레드시트도 가능). 흑백 픽셀 이미지 몇 개(문자나 단순한 도형을 10×10 안팎 격자에 직접 그린 것, 각 픽셀 ±1), 픽셀을 뒤집어 잡음을 넣을 난수 발생기, 결과를 픽셀 그림으로 그릴 도구. (선택) EPFL Neuronal Dynamics 실습 꾸러미 neurodynex.

변인

독립변인은 저장한 패턴 수 p이다(한 번에 이 값만 늘린다). 종속변인은 회상 정확도 — 잡음 입력에서 갱신을 끝낸 최종 상태와 목표 패턴의 겹침 m = (1/N) Σ s_i ξ_i(또는 원본과 일치한 시도의 비율)이다. 통제변인은 뉴런 수 N, 학습 규칙(헤브), 갱신 방식(비동기), 초기 잡음 비율, 패턴 생성 방식, 난수 씨앗이다.

실험 순서

  1. N개 픽셀 격자를 정하고(예: 10×10 = 100 뉴런) 저장할 흑백 이미지 몇 개를 각 픽셀 ±1로 만든 뒤, 결합을 헤브 규칙 w_ij = Σ_μ ξ_i^μ ξ_j^μ 로 계산한다(자기 결합 w_ii = 0, 대칭 w_ij = w_ji).

  2. 비동기 갱신 s_i ← sign(Σ_j w_ij s_j)와 에너지 E = −½ Σ w_ij s_i s_j 를 구현하고, 뉴런을 무작위 순서로 갱신하며 에너지가 내려가다 멈추는지(극소 수렴) 확인한다 — 알고리즘 검증이다.

  3. 회상 시험: 저장한 이미지의 픽셀을 일정 비율(예: 20 %) 무작위로 뒤집은 손상 입력을 갱신이 멈출 때까지 돌려, 최종 상태와 원본의 겹침 m을 재고 여러 씨앗으로 성공률을 낸다.

  4. 저장 패턴 수 p를 하나씩 늘리며(같은 N·같은 잡음 비율) 모든 저장 이미지의 회상 정확도를 재고, 평균이 급락하는 p를 용량 한계(≈0.138N)와 견준다.

  5. (둘째 축) p를 작게 고정한 채 잡음 비율을 0부터 키우며 성공률을 재어 회상이 무너지는 잡음 문턱을 읽고, 닮은(비직교) 이미지끼리 저장하면 혼선이 용량을 앞당기는지 살핀다.

안전 안내

⚠ 안전

계산 실험이라 물리적 위험은 없다. 대신 재현성을 지킨다 — 난수 씨앗(seed), 격자 크기 N, 저장한 패턴, 잡음 비율, 갱신 순서를 모두 기록한다. 비동기 갱신은 순서에 따라 결과가 갈릴 수 있으니 같은 씨앗·순서로 되풀이해 재현되는지 확인한다. 저장 이미지는 저작권 없는 것을 쓰고, 얼굴 사진처럼 개인 식별 자료는 피한다.

예상과 해석

먼저 예상해 보기

저장하는 패턴 수를 하나씩 늘리면 회상 정확도는 어떻게 달라질까 — 서서히 완만하게 나빠질까, 아니면 어떤 문턱을 넘는 순간 갑자기 무너질까?

자료 정리

저장 패턴 수 p(또는 부하 α = p/N)를 가로축, 잡음 입력에서의 평균 회상 정확도(겹침 m 또는 성공률)를 세로축으로 그려, 용량 한계 근처에서 급락하는 개형을 문헌의 α_c ≈ 0.138과 대조한다. 잡음 실험은 가로축을 뒤집은 픽셀 비율, 세로축을 성공률로 한다. (축과 개형만.)

결과의 의미

패턴이 몇 개뿐일 때는 20 %쯤 뒤집힌 입력도 원본으로 되돌아오지만, 저장 수가 N의 약 0.138배(무작위 패턴 기준)를 넘으면 회상 정확도가 무너질 것으로 예상된다. 이 갑작스러운 붕괴는 완만한 저하가 아니라 상전이 — 에너지 지형에 가짜 극소가 폭증해 입력이 엉뚱한 골짜기로 굴러떨어지는 스핀 글라스 상으로의 전이다. 통계역학이 예측한 이 0.138N 용량이 곧 “얼마나 많은 그림을 헷갈리지 않고 저장·구별할 수 있는가”의 답이며, 저장은 헤브 규칙, 구별은 에너지 최소화라는 두 과정이 원문의 “저장”과 “구별” 알고리즘 그 자체다. 다만 닮은 패턴은 한계 전에도 혼선을 일으키니, 붕괴 지점이 0.138N보다 이른지 살피는 것이 이 탐구의 알맹이다.

더 탐구하기

  1. 의사역행렬(pseudo-inverse) 규칙이나 반복 학습으로 닮은 패턴의 혼선을 줄여, 용량이 0.138N보다 늘어나는지 비교해 보자.

  2. 이미지의 절반만 입력으로 주고 나머지를 복원시켜(부분 단서), 잡음 지우기와는 다른 “연상 기억”을 관찰해 보자.

  3. 확률적 갱신(유한 온도 글라우버 동역학)으로 온도를 올릴수록 회상이 어떻게 무너지는지 온도–부하 상그림을 그려 보자.

  4. 저장하지 않은 “섞임 상태”(가짜 극소)를 찾아, 여러 원본을 뒤섞은 이미지가 안정한 골짜기로 나타나는지 확인해 보자.

연결 주제

1988년 문제 16 ‘갇힌 전자 배치’ — 에너지가 가장 낮은 배치를 모의 담금질로 찾고 국소·전역 최소를 가려내는, 이 원고와 똑같은 에너지 지형·극소 탐색의 계산 실험이다. 1988년 문제 4 ‘회로 계산 프로그램’ — “알고리즘을 개발하라”는 같은 형식의 계산 문제로 물리를 계산으로 푸는 이 책의 짝이다.

참고문헌

[학생] 2024 노벨 물리학상 대중 해설(J. J. Hopfield·G. E. Hinton, “인공 신경망을 이용한 기계 학습의 기초를 놓은 공로”, nobelprize.org) — 이 모형이 왜 ‘물리’인지의 근거 / 위키백과 ‘Hopfield network’(한글 ‘홉필드 네트워크’) — 에너지 함수·헤브 규칙·회상 개관 / EPFL Neuronal Dynamics 실습(W. Gerstner 외)의 neurodynex ‘hopfield_network’ — 격자에 문자·픽셀 패턴을 저장하고 잡음/부분 입력에서 회상시키는 표준 파이썬 실습 / 영상·검색어 “Hopfield network associative memory”, “홉필드 네트워크 연상 기억”. [심화] J. J. Hopfield, “Neural networks and physical systems with emergent collective computational abilities,” Proc. Natl. Acad. Sci. USA 79(8), 2554–2558, 1982, DOI 10.1073/pnas.79.8.2554 (원논문 — 에너지 함수·연상 기억 도입; 약 0.15N개까지 회상 관찰) · D. J. Amit, H. Gutfreund, H. Sompolinsky, “Storing infinite numbers of patterns in a spin-glass model of neural networks,” Phys. Rev. Lett. 55(14), 1530–1533, 1985, DOI 10.1103/PhysRevLett.55.1530 (스핀 글라스로 본 용량 한계의 첫 보고) · D. J. Amit, H. Gutfreund, H. Sompolinsky, “Statistical mechanics of neural networks near saturation,” Ann. Phys. 173(1), 30–67, 1987, DOI 10.1016/0003-4916(87)90092-3 (복제법 평균장 이론으로 α_c ≈ 0.138(문헌 표기 0.14) 유도) · D. O. Hebb, The Organization of Behavior, Wiley, 1949 (헤브 규칙의 원전). ※ 원논문·용량 이론·헤브 규칙은 문헌이 덮지만, 헤브 규칙의 낮은 용량·가짜 극소·비직교 패턴 혼선을 학교 규모 시뮬레이션에서 직교화·반복 학습으로 어디까지 끌어올릴 수 있는지, 비동기 갱신 순서·유한 온도의 영향을 정량화한 자료는 드물다 — 개방 지점이다.

X스레드

이어서 읽기