lottopotato

Multi Modal Model

lottopotato — Tue, 21 Apr 2026 19:38:43 +0900

회사에서 타 부서와 친목 도모 겸 워크샵을 했었는대 당시 발표했던 자료들을 기록한다.

인공지능과 친숙하지 않은 사람에게 설명하기 위한 자료로 기초적인 개념위주이며 표현을 최대한 쉽게 하도록 하였다.

오늘 소개할 이야기는 멀티모달 모델에 대한 것이다.

멀티모달모델은 서로 다른 형태(모드 또는 타입)의 다양한 데이터를 처리할 수 있는 모델이다.

데이터는 주로 그림, 텍스트(자연어), 음성, 연속형 데이터, 이산형 데이터 등 다양한 형태로 표현된다.

멀티모달 모델은 데이터 형식의 조합에 구애받지 않고 범용적으로 표현하는 개념이기 때문에, 연속형과 이산형 데이터를 함께 처리하는 모델 역시 멀티모달 모델에 포함된다.

최근에는 자연어 생성 AI의 인기가 크게 상승하면서, 그림과 텍스트 또는 음성과 텍스트를 결합한 멀티모달 모델이 널리 알려지고 있다.

여기서는 대표적인 조합인 Image + Text 멀티 모달 모델링을 살펴본다.

Multi-modal model for Image + Text

이미지와 텍스트는 모두 시각적 정보에 해당하지만, 컴퓨터(디지털) 환경에서는 이 두 데이터가 각각 다른 방식으로 표현되고 처리된다.

이미지

디지털 이미지 표현은 일반적으로 픽셀(pixel) 단위의 값으로 이루어진다. 컬러맵이 포함된 이미지의 경우, 가로와 세로, 그리고 색상(및 알파) 채널로 구성된 3차원 데이터 형태로 나타내며, 색상은 보통 RGB(Red, Green, Blue) 세 가지 색상값(+투명도), 256(8비트) 단계로 표현한다.

따라서 이러한 이미지는 벡터 값으로도 표현할 수 있다.

텍스트

반면에 디지털 세계에서 텍스트 표현은 보통 인코딩 값으로 표현되며 ASCII, UTF-8, Unicode 등의 인코딩 룰을 따라 표현된다.

즉, 이미지는 연속적인 값과 공간적 구조를 지니는 반면, 텍스트는 이산적인 값과 연속적인 구조를 가진다고 해석할 수 있다.

이처럼 상이한 데이터 형태를 동시에 다루는 모델이 이미지 + 텍스트 멀티 모달 모델이다.

이미지와 텍스트를 다루기 위한 모델링 기법은 여러가지 있지만 여기서는 구글의 Gemma3 모델을 다루기로 한다.

복기하기: Convolution(합성곱)

Gemma3 에서 이미지를 처리하는 “Image Projector” 는 기본적으로 합성곱 계층(Convolutional Layer)로 이루어져 있다.

합성곱은 본디 두 개의 함수(f, g)의 합성 형태 함수 (f*g)를 구하는 연산으로 대상 함수(f)와 또 다른 함수(g)를 반전하여 곱한 다음 적분한다.

이미지는 n차원의 배열로 표현하는 이산적 데이터임으로 이산 합성곱을 취하는데, 대상 함수(f)를 이미지 자체로 두고 다른 함수(g)를 커널(윈도우, 리셉티브 필드)로 생각하여 아웃풋을 구한다. 커널은 이미지를 순회하며 합성곱을 취하여 새로운 대상 픽셀을 계산한다.

사람같이 이해보기

컨볼루션 레이어는 기본적으로 동일한 크기의 커널이 이미지에 이동하면서 각 공간의 정보를 얻는다.

이것을 좀더 이해하기 위해 사람으로 비유하자면, 커널의 크기는 일종의 사람의 시야라고 할 수 있다. 좀 더 그럴듯한 비유를 보면 당신이 만약 망원경으로 어떤 풍경을 구경하다치자. 그 망원경의 크기는 원형이 아니고 사각형이라고 할 때, 당신은 그 공간을 훑고 지나가면서 구경을 할 것이다. 처음볼때는 그 공간에 대한 정보가 망원경의 크기 만큼 들어오지만 훝고 지나가면서 공간에 대한 정보가 조립되어 볼것이다.

여기서 블랙 박스가 순차적으로 열린다고 할때, 이 이미지가 "개구리" 라는 걸 깨닫는 그 순간, 당신은 어떤 위치에서 그 단서를 얻었는가? 아마도 생각해보면 얼굴쪽 위치가 제일 단서가 클 것이라고 생각한다.

Convolutional layer는 특정 크기의 커널을 활용해 공간적으로 스트라이드 단위로 이동하며 연산을 수행하는 과정이다.

따라서 이미지 내 공간적 특성을 추출하는 계층으로 이해할 수 있으며, 이를 통해 최종 출력에 필요한 특징 맵을 순차적으로 얻어낸다.

이미지에서 목적에 부합하는 중요한 정보에대해 필터가 더 민감하도록 조정된다.

이러한 합성곱 계층으로 구성된 모델이 어떤 이미지를 개구리인지 물고기인지 판단하는 모델이라면, 그 판단에 도움이 되는 쪽으로 커널이 변화 할 것이다.

복기하기: Attention

생성형 AI 모델의 핵심 구성 요소인 어텐션 레이어는 자연어 처리, 특히 연속적인 데이터 구조를 다루기 위해 고안된 개념이다. 이는 현재 대부분의 생성형 AI 모델의 기본 구조인 Transformer의 핵심 계층을 이루고 있다.

어텐션 레이어는 기본적으로 쿼리(query), 키(key), 벨류(value) 세 가지 주요 구성 요소로 구성되어 있다. 각 요소마다 독립적인 입력층이 존재하며, 이 입력층들이 모여 하나의 어텐션 레이어 블록을 형성한다.

https://en.wikipedia.org/wiki/Attention_(machine_learning)#/media/File:Attention-qkv.png

사람같이 이해보기

자연어 생성 메커니즘을 이해하기위해 문제 하나 풀어보자.

주어진 문장에서 빈칸에 들어갈 단어로 가장 알맞은 것은?

1번 문제에서 가장 적절한 단어를 선택할 때, “외출하기가 어렵다”는 문장을 통해 날씨가 매우 나빠서 외출이 힘들다는 점을 파악할 수 있다. 즉, “더워서”라는 답을 도출하기 위해 “날씨가 너무”와 “외출하기가 어렵다”라는 구문을 전후 문맥과 함께 비교 분석하였다.

이는 “더워서”라는 단어가 문장 내 위치를 기준으로 앞뒤 문맥을 모두 고려한 결과임을 의미한다.

이와 같은 방식이 바로 Masked Language Modeling(MLM) 기법으로, 문장의 앞과 뒤 문맥을 동시에 반영하는 양방향(Bidirectional) 자연어 학습 방법이다.

반면 2번 문제는 빈칸 이후의 어절이 없음으로 가장 적절한 단어를 도출 하기 위해 이전 문장으로 부터 만 보았다.

일반적으로 생각했을때, 가장 적절한 말은 "읽었다" 가 될 것이다.

이것은 단순히 이전 문장 집합으로 부터 도출된 결과임으로 단방향(Unidirectional) 자연어 학습 방법이며 지금의 생성형 모델의 대표적인 사전학습 방법이기도 하다.

그렇다면 2번 문제에서 몇가지 어절이 추가적으로 포함되어 있다고 생각해보자.

여전히 "읽었다"라는 말이 가능성이 높겠지만 앞에 문장이 추가 됨으로써 4번인 "정리했다"라는 단어도 가능성이 매우 증가하였다.

즉 가장 뒤에 “읽었다“ 혹은 “정리했다“ 어절은 앞의 어절들에 의해 크게 영향 받게 되었다.

어텐션으로 돌아와서, 생성형 모델은 보통 인코더가 없음으로 어텐션레이어의 키, 쿼리, 벨류는 같은 문장의 값을 사용한다.

여기서 X = “see that girl run”, x = “that” 일 때 x * X 형태의 배열곱이 진행 된다.

“that” 과 네 개의 단어 들 중 가장 관련도가 깊은 단어는 서로 배열 곱의 결과가 높은 값을 취하게 되며 이는 "that" 다음에 나올 단어들 중 "girl" 이라는 단어가 나올 가능성이 높다는 것을 의미한다.

현대의 자연어 생성형 AI 는 이러한 구조를 기본적으로 사용하며 사전학습에서 CLM 방식을 사용함으로 써 결과적으로 과거의 단어로 부터 현재의 가장 적절한 단어가 그 확률이 높도록 학습이 됨으로써 자연어를 생성하게 된다.

이러한 특성을 Autoregressive Language modeling이라고도 한다.

Gemma3 에서 둘러보기

Gemma3는 Image와 Text 두가지 형태를 동시에 다루기 위한 멀티모달 모델(4B 이상)로 기존 LLM에서 가능했던 Q&A나 요약, 번역 등 이미지와 동시에 기능을 수행할 수 있는 End-to-End Processing이 특징이다.

Image Projector

우리말로 투영기, 영사기 등의 의미를 갖는 Projector는 말 그대로 이미지를 텍스트 프롬프트 토큰 집합에 투영시키는 작업을 수행한다.

기본적으로 컨볼루셔널 레이어로 구성된 CNN 이며 (SigLip) CNN과 같이 특징 맵을 줄여가며 출력 값을 도출 한다.

출력 값의 영역은, 컨볼루셔널 레이어는 출력의 크기를 조절 할 수 있음으로, 항상 같은 크기의 벡터 값으로 축소 된다.

Language Model

기존 생성형 모델과 유사한 구조로, 어텐션 레이어를 기반으로 설계되었다. 다만, 기존에는 텍스트 임베딩 값만 입력으로 활용했던 반면, 이번에는 이미지 프로젝터의 출력 값을 임베딩 값의 일부 영역에 포함시켜 입력으로 사용한다.

즉, 이미지 입력이 주어지면 텍스트 영역 내에 이미지를 위한 공간을 사전에 할당한 뒤, 이미지를 프로젝터에 통과시켜 생성된 이미지 특징 맵(연속적인 구조)을 해당 공간에 투영하여, 이를 언어 모델의 입력 값으로 활용하는 방식이다.

사람같이 이해보기

예컨대 당신이 어떤 회의실에서 회의자료를 발표한다고 생각해보자.

회의실에는 프로젝터가 있고 당신은 당신의 발표자료를 프로젝터에 "투영" 시킨다.

프로젝터는 (일반적으로) 크기가 고정되어 있고 당신이 만든 발표자료의 크기가 어떻든, 일정한 크기로 고정된다.

이해를 돕기위해 프로젝터를 제외한 전후 배경이 아래라고 생각하면,

당신의 위치가 의자에 고정되어 있고 전후 배경을 텍스트라고 생각해보자.

이 텍스트영역은 우리가 고개를 얼마나 돌리느냐에 따라 길이가 다를것이다.

하지만 이미지의 경우 시야에 방해받지 않는다면, 절대적 크기자체는 달라지지 않는다.

Gemma3는 이렇게, 이미지가 있으면 고정된 크기 만큼 이미지 영역을 할당하고, CNN 기반인 모델에 통과시켜 이미지의 특징을 추출하고 입력 크기가 같으면 CNN의 모든 출력 크기는 동일하니 할당된 이미지영역에 투영시키는 것이다.

이러한 텍스트와 이미지가 합쳐진 벡터가 Attention layer기반의 언어 모델에 입력으로 사용되어 출력 텍스트를 생성하는 것이다.

Text Generation Model

lottopotato — Sat, 18 Apr 2026 22:03:49 +0900

회사에서 타 부서와 친목 도모 겸 워크샵을 했었는대 당시 발표했던 자료들을 기록한다.

인공지능과 친숙하지 않은 사람에게 설명하기 위한 자료로 기초적인 개념위주이며 표현을 최대한 쉽게 하도록 하였다.

요즘 대부분의 사람들에게 AI가 무엇이냐 물어본다면 ChatGPT 를 말할것이다.

사실 ChatGPT 라는 이름 자체가 기술적인 용어라기 보단 상업적인 용어인대 GPT를 기초 모델로 하는 대화형 모델 서비스라고 이해 하는게 적당하다.

이러한 요즘 대부분의 텍스트형 챗봇 모델은 생성형 모델이라고 하며 더 포괄적인 의미론 Large Language Model 이라고도 한다.

오늘날의 대형 언어 모델은 Attention layer를 기반으로 하는 모델이며 엄청난 수의 데이터를 학습하는 아주 큰 모델 을 일컫는다.

우리는 이 생성형 모델이 논리적으로 어떻게 텍스트를 생성하는지 알아볼것이다.

Attention Layer

어텐션 레이어는 기본적으로 3개의 구성요소인 query, key, value로 이루어져 있다.

각각의 쿼리, 키, 벨류에 대한 입력층이 있으며 이러한 입력층이 하나로 모인 블록이 어텐션 레이어이다.

쿼리, 키, 벨류가 뭐임?

쿼리, 키, 벨류를 가장 적절히 설명할 수 있는 방법은 Dictionary(또는 Object) 데이터 타입을 떠올리면 좋을것 같다.

Dictionary는 일반적으로 키와 벨류로 엮인 데이터 형태를 말한다.

여기서 "홍길동" 이라는 값을 가져오려면 myObject.name 으로 가져올 수 있다. "홍길동"은 특정 벨류(값)이며 "name"은 특정 키 값이다. 즉 어떤 벨류를 얻기위해 우리는 특정 키값으로 참조하여 가져온다.

여기서 만약 당신이 이런 특정 키 값을 모르는 상태라고 해보자.

단순하게 접근해서 대충 이름을 가져올거니까 왠지 이름일 것 같은 키 값을 입력해본다.

MyObject.title, MyObject.pretext, MYobject.name, ...

여기서 "title", "pretext", "name" 등의 키워드는 곧 하나의 쿼리(질의)로 볼 수 있다.

질의를 통해 특정 벨류를 찾아가는 과정을 거치다 "name" 이라는 키워드로 "홍길동"을 가져 올 수 있다는 것을 깨닫는다.

즉, 쿼리를 통해 벨류를 얻는 과정에서 쿼리는 실제 키 값과 가까워진다(혹은 가까워져야 한다).

특정 벨류를 찾기 위한 쿼리는 특정 키와 가까워지고 특정 키는 특정 벨류를 얻을 수 있는 정보이다.

AI 분야에서 무언가 관계성을 찾으려 할 때 행렬곱은 자주 사용한다(아무튼 그렇다고 치자).

q(query)와 K(key)의 관계성을 찾으려 함으로 q와 k를 행렬곱하고 (행렬곱 한 값이 높다면 q는 K와 가까워진다.)

q, k를 행렬곱한 벡터에 v를 행렬곱하여(q와 k를 행렬곱한 벡터는 v와 가까워진다.) query로 value를 찾기 쉽도록 유도한다.

Self Attention, Cross Attention

쿼리, 키, 벨류에 어떤 값이 들어가냐에 따라 크게 Self Attention, Cross Attention 으로 구분하고 이러한 Attention Layer가 몇 개 모인 모듈을 Attention Block(or Module)이라고 한다.

Self Attention은 같은 문장이 각각 쿼리, 키, 벨류에 입력으로 사용되며 Cross Attention은 문장A가 쿼리에 사용되고 나머지 문장 B는 키와 벨류에 입력으로 사용된다.

Transformer

Transformer는 이러한 Attention Block들이 모여서 만들어진 모델 구조이다.

Transformer는 크게 인코더, 디코더로 구분 할 수 있고 Self Attention 으로만 구성되어 있는 부분을 인코더, Cross Attention도 있는 구조가 디코더라고 할 수 있다.

Text Generation

이러한 생성형 모델에서 텍스트 생성은 각 시간마다 생성된다. 여기서 시간이란 개념은 실제 문장을 소리내거나 쓰여지는 순서에 대한 실제 시간이라고 생각해도 무방하다.

예를 들어 “나는 사과를 좋아해“ 라는 문장에서 “사과”라는 단어는 “나는” 이라는 문구에 뒤에 등장한다.

이 문장이 만약 생성형 모델의 결과라면 역시, “사과“라는 단어는 “나는“ 이라는 문구로 부터 얻는다.

여기서 “좋아해“ 라는 문구는 “사과“라는 단어가 얻어질 당시 모델 입장에서 알 수 없다. 이러한 단방향 순서 확률적 특성을 자동회귀라고 한다.

Greedy search

자동회귀성을 그대로 적용하여 텍스트를 생성하는 가장 단순한 알고리즘으로 각 t시점에서 가장 높은 확률 값을 갖는 단어를 선택하여 텍스트를 생성한다.

끝으로..

AI와 관련되지 않은 분들에게 설명을 어떻게 하면 쉽게 할 수 있을지 고민이 있었다.

그러다 보니 뭔가 띄엄띄엄 설명이 넘어가게 되었다.. 나름 비유를 하며 설명했는대 이해 하기 쉬웠던건지 모르겠다.

Convolutional Neural Network 기초

lottopotato — Sat, 18 Apr 2026 20:03:27 +0900

회사에서 타 부서와 친목 도모 겸 워크샵을 했었는대 당시 발표했던 자료들을 기록한다.

인공지능과 친숙하지 않은 사람에게 설명하기 위한 자료로 기초적인 개념위주이며 표현을 최대한 쉽게 하도록 하였다.

이름과 같이 주로 합성곱 층으로 이루어진 모델 종류를 말하며 보통 이미지를 다루기 위한 모델로 고안 되었다.
이미지의 부분적 요소를 합성곱으로 임의의 Feature Maps 를 구성하며 보통은 레이어가 중첩 될 수록 Feature map의 크기는 같거나 줄어드는 방식으로 진행된다.
이미지의 공간적 의미를 해석하는 모델로 설명 할 수 있으며 목적(Output)에 가장 적합한 공간적 요소를 추출 할 수 있는 가중치를 갱신하는 모델이라 할 수 있다.

합성곱 계층은 말 그대로 합성곱 신경망의 핵심 계층이다.
전통적인 이미지 처리에서 합성곱은 임의의 고정된 “필터”를 이용한 연산으로 새로운 이미지를 조정한다면 CNN에서의 합성곱 계층은 유동적인 “필터“ 가 곧 가중치가 되어 이를 조정하게 된다.
보통은 “학습하게 되는 필터“ 라는 의미로 필터보단 “커널”이라고 표현 하기도 한다.

주요 개념

커널(필터, 윈도우)

레이어의 가중치 공간을 의미하며 보통 정방행렬(n x n)으로 구성한다. 컨볼루션 연산이란 이 커널이 이미지를 순회하면서 이미지의 공간을 자리별 곱한값을 더하는 과정을 말한다.

스트라이드

컨볼루션 연산에서 이미지를 순회하는 구간을 말한다. 커널은 스트라이드씩 이동하면서 연산을 수행한다.

패드

출력 특징맵의 크기를 조절 할 수 있게 이미지의 가장자리를 특정한 값으로 채우는 것을 의미하며 패드를 구성하는 값, 패드의 두께에 따라 특징맵을 조절 할 수 있다.

출력 특징맵의 크기 계산

커널 사이즈(K), 스트라이드(S), 패드 범위(P)에 따라 컨볼루션 레이어의 입력 데이터의 크기(X)는 출력인 특징맵의 크기(Y)로 변화하며 다음과 같이 계산된다.

컨볼루션 연산 알아보기

컨볼루션 연산은 임의의 본디 이미지만을 위한 연산은 아니지만 여기선 배열로 표현된 이미지에서의 컨볼루션 연산을 알아본다.

왼쪽 배열 에서는 6 x 6 배열로 표현된 이미지에 1 패딩이 추가되고 3 x 3 커널에 의해 컨볼루션 연산을 수행한다.

커널(보라색)과 연산의 대상이 되는 공간(회색, 리셉티브 필드라고도 함)에 대해 각 위치 별 곱한 뒤 각 성분을 더하게 된다.

커널의 값은 학습이 진행 될 수록 변화 한다.

인공지능에 대한 이해 - 2

lottopotato — Fri, 17 Apr 2026 20:03:00 +0900

회사에서 타 부서와 친목 도모 겸 워크샵을 했었는대 당시 발표했던 자료들을 기록한다.

인공지능과 친숙하지 않은 사람에게 설명하기 위한 자료로 기초적인 개념위주이며 표현을 최대한 쉽게 하도록 하였다.

Deep Neural Network

흔히 "딥러닝" 이라고 불리는 딥뉴럴네트워크는 Multy-Layer Perceptron(이하 MLP)의 확장 버전이라고 할 수 있으며 상대적으로 아주 깊고 크기가 큰 신경망 형태가 된다. 이 때문에 "Deep" 이라는 단어가 붙여졌다.

보통의 경우, 적어도 파이선 인공지능 관련 패키지들 에서는, 퍼셉트론이라는 단어는 대체되어 각 기능별로 ~ Layer 라는 이름으로 자주 쓰인다.

목표에 따라 딥러닝 모델이 구성되며 크게 보면 학습 방식의 차이에 따른 지도 학습, 비지도 학습 모델의 구분과

다루는 데이터 형태에 따른 회선 신경망(Convolution Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), 완전 결합 신경망(Fully Connected Neural Network, FCNN) 등 이 있으며 현재 대세로 자리 잡은 Attention Layer 기반 모델이 있다.

Fully Connected Neural Network (FCNN)

기본적인 MLP의 확장버전이며 기초적인 Linear layer와 부가적인 Layer를 포함한 네트워크를 말한다.
모던한 네트워크는 초기 MLP 아키텍쳐에 사용한 레이어와 여러 보조 레이어 및 최적화 방법론이 추가된다.
학습이 가능한 값을 갖고 있는 레이어는 역전파 학습을 위해서 미분이 가능하여야 한다.

Linear layer

퍼셉트론과 같이 행렬곱을 취하는 계층이다.

현대 인공지능에서 가장 단순하면서도 핵심적인 레이어라고 할 수 있다.

Activation Layer

보통은 학습 가능한 레이어의 출력에 또 다시 출력 값을 조정하는 함수로 학습이 이루어지지 않는 레이어로 볼 수 있다.

Sigmoid, Tanh(Hyperbolic Tangent), Softmax 같은 함수는 보통은 모델의 마지막 레이어에 쓰이며 손실 함수에 따라 정해진다.
Relu(Rectified Linear Unit)는 가장 자주 쓰이는 대표적인 활성화 함수로 출력 값의 음수 값을 zero로 고정한다.

Relu 같은 함수는 보통 가중치 학습에 관여하는 그라디언트 값을 과도하게 낮거나 높지 않게 조정하여 손실 값이 매우 적어지는 Gradient vanishing 현상을 예방한다.

Regularization Layer

모델 학습에 있어 일종의 “규제“를 추가하는 레이어로 가중치나 입력 값을 일반화하거나 무작위로 변경 하는 등 학습을 좀더 어렵게 하게 하는 레이어 이다.
학습을 더 어렵게 함으로써 모델이 요령 피우지 않고 학습하도록 하여 학습 데이터에만 과도하게 집중하는 Overfitting 을 예방하는데 효과가 있다.

계산적인 이해

일반적인 뉴럴 네트워크 기반은 입력과 출력이 있고 입력 값이 뉴럴 네트워크를 통과하면서 변이되어 출력을 한다. 여기서 이 출력 값을 사용자가 원하는 값으로 유도하는 과정을 “학습“ 이라고 한다. 모델을 단순 일차식 함수로 표현해보자.

함수 f(x)의 출력 값 y는 미지의 값 x와 w값에 의해서 변화한다. 즉 이 함수에서 미지수는 x, w 2개이다. x와 w값이 특정되어야 y값을 알 수 있다. y = f(x)에서 같다(=) 가 아닌 비슷하다(≈) 로 대체 해보자.

같다가 아닌 비슷하다라고 정의 하였기 때문에 x와 w값이 뭐든간에 y의 해는 유한적이지 않다. 널널하게 생각해서, x = 5, w = 2일때 50 ≈ 5x2, 100 ≈ 5x2 이던 정의 자체는 괜찮다. 하지만 우리는 5x2는 10인것을 알고 있다. x와 w를 알면 y값을 알 수 있다. 모르면? 그냥 대충 아무튼 y랑 비슷한 값이다 라고 해보자. 1번식과 2번식으로 3번식을 정의한다.

일반적인 지도 학습의 경우를 생각해보자. 지도 학습의 경우 실제 값과 그 값의 label이 정해져 있다. 즉 여기선, 특정한 x와 y값의 페어들이 학습데이터 형태로 주어지고 미지의 w값에 의해 y_hat 값이 도출 될 때 실제 y값과 y_hat 값이 가깝도록 w값을 조정한다.

여기서 50 ≈ 5x2, 100 ≈ 5x2의 경우를 보자. 우리는 5x2가 10인것을 알고 있으니, 여기서 비슷하다라는 정의를 단순하게 값의 차이로 생각해본다면, 50-10=40, 100-10=90 으로 100보단 50이 더 합리적으로 10과 가깝다고 생각 할 수 있다.

w 값을 미지의 수로 두고 y = 10, y_hat = 50, x = 5일때 3번에 대입해보면,

여기선 w값이 10이겠지만.. 10 = 10 ≈ 5x2 이 더 합리적임으로 원하는 정답 w는 2와 가까우면 좋겠다.

초기 w값 10에서 어떻게 2와 가깝게 조정할까?

좀더 정확히 y≈y ̂ 라는 수식을 단순히 y-y ̂의 절대값이 0과 가깝다고 으로 정의하자.

X= [5], Y = [10] 일때,

(7), (8)번 식을 (3)번식에 적용하면,

그리고 w에 변화를 가하는 g에 대해 그냥 대충 w로 나눠서 다음과 같이 정의해보자.

초기 w값을 적당히 10이라고 했을 때 다음과 같이 w를 조정해보자.

이제 (11)번 식 과정을 계속하여 반복하면 ...

어느순간 w값은 우리가 원하는 2와 가까워진다!

이런 단순한 접근을 딥러닝 세계에 적용하면 가장 합리적인 w값을 구하는 과정이 바로 인공지능 모델에서 지도학습의 개념이다.

생각 확장

지금까지는 x, y값이 각각 5, 10밖에 없었지만 다수의 데이터 집합을 생각해보자.

x와 y는 각각 3개의 성분이 있는 데이터 집합의 원소이다. 모델은 모든 x, y 쌍에도 만족할 수 있어야 한다. 이것을 연립 방정식 형태로 표현하면,

이렇게 보니 더 이상 w의 최적의 값이 2가 아닐 수도 있겠다. 여기서 간단히 손실 함수를 다음과 같이 모든 X, Y 쌍 집합에 대한 손실 함수의 평균으로 해보자.

즉 모든 X, Y 쌍 집합에 대해 계산한 손실값의 평균이 0으로 가깝다라고 정의한다. w에 변화를 가하는 g의 정의는 다음과 같다.

똑같이 w값을 대충 초기 10이라고 하고 (17)번 식으로 w값의 조정을 반복하면,

여기서 아까와 다르게 우리는 최적의 w값이 몇인지 머리속에서 뚝딱 계산되진 않는다. 다만, (16)식, 손실함수의 출력값이 0과 최선으로 가까울 때 w값 또한 최적의 값이 될 것이다.

여기서 손실 함수의 y^_i 을 x_i * w로 치환해서 L(w)라는 함수라고 표현 할 때(y_i 는 부동임으로 상수로 생각한다.) L(w) 함수의 출력 값이 최소화(0과 가깝다.) 되는 지점을 구하는 것이 모델의 최선의 결과를 얻을 수 있는 방향이다.

여기서 실수 영역 w∈R에서 (w, L(w))의 대한 그래프를 그려보면,

미지의 w가 가장 최소의 L(w)를 만족하는 위치는 L(w)값이 가장 낮은 지점, 경사가 0인 곳이다.

여기서 손실 함수 L(w)를 다음과 같이 y_i-y ̂_i 의 제곱의 평균으로 표현해보자. 여전히 y_i와 y ̂_i값이 가깝다면 (y_i-y ̂_i)**2이 0과 가깝다.

똑같이 (w, L(w)) 아래의 그래프 상에서 미지의 w가 가장 최소의 L(w)를 만족하는 위치는 L(w)값이 가장 낮은 지점, 경사가 0인 곳이다.

이제 데이터 X, Y를 단순 스칼라의 집합이 아닌 벡터의 집합으로 생각해보자.

x, y가 벡터임으로 벡터와 연산되는 w값도 벡터로 확장 해보자.

실수 벡터 w ∈R^3 에 대해 (w, L(W))의 그래프는 여전히 다음과 같이 표현 된다.

여전히, w의 최적의 값은 L(w)가 최소화 되는 지점, 미지의 t 시점에서 경사도가 0인 지점이다.

어떤 함수 f(x)에 대해 임의의 값 a, b (b>a)에서 A = (a, f(a)), B =(b, f(b)) 를 지나는 직선의 기울기는 다음과 같다.

여기서 B의 점이 A에 극한으로 가까워 질 때 A점에서의 순간 변화율이 바로 미분이다. 즉 미분이란 x의 증분,

∆x=x-a에 대해 x가 a에 한없이 가까워지는 극한에서 점 (x, f(x))와 (a, f(a))을 지나는 직선의 기울기이다.

다시 위의 (w, L(w))의 그래프를 보자. 미분을 생각해보면, w의 최적의 값을 구하기 위한 L(w)가 가장 최소화 되는 임의의 지점 w’를 찾아야 하는데 이것을 결국 곧 L(w)에서 w’ = w’+t (t는 0과 가까운 값) 로 미분한 미분계수가 0과 가깝다라고 이해 할 수 있다.

L(w)함수가 (26)와 같을 때 의 w’(w’ = w’+t) 에 대한 도함수 L’(w’)는 다음과 같이 유도된다.

임의의 w값, w’에 대해 L’(w’) 이 0에 가까운 지점을 찾아야 함으로 w의 업데이트식 w <- w – g에서 g는 결국 L의 도함수 L’(w’)으로 표현할 수 있다.

w 는 g값의 일정량(r) 에 의해 감소(-) 함으로써 경사도를 낮춰 경사도가 0일 w값으로 유도한다.

임의의 조정된 w’값에 대해 g = G(w’)에서 0과 가깝다면 w에 가하는 변화가 크지 않다는 것을 의미하고 더 이상 적절한 w값을 찾아내었다고 이해 할 수 있다. 이때 g값을 조절하는 r값은 1/100로 적은 값으로 바꾼다. r값이 너무 커서 너무 많이 w에 변화를 주면 오히려 g = 0이 되는 지점을 찾기 어려워 진다.

실제로 다음의 상황에서w를 조정하는 과정을 진행하면...

정리

1.어떤 모델의 단순화 Y≈Y ̂=f(X)=XW에서 w는 함수 L(Y,Y ̂)= (Y≈Y ̂ )을 w로 미분한 미분계수 g=D(L(Y,Y ̂ ),W)=dL/dW 의 일정량으로 조정(W=O(W, g)=W+r∗g) 함으로써 Y≈Y ̂=f(X)=XW를 최적으로 만족하는 w를 유도한다.

2.여기서 함수 L이 결국 손실함수이며 손실 함수를 최소화 하는 방향으로 진행된다. 손실 함수가 0 과 가깝다는 것은 가장 최적의 w값을 도출 했다는 것이고 이는 곧 모델의 성능을 의미한다. 반대로 손실 함수의 값이 여전히 높다면 가중치를 조절하는 값, g값이 높을 수 있다고 이해 할 수 있다.

3.너무 높은 r(러닝 레이트)는 손실 함수를 발산 시키는 영향을 줄 수 있어 적정량 (보통 0.001 이하)으로 작은 값을 사용한다.

인공지능에 대한 이해

lottopotato — Fri, 17 Apr 2026 19:02:25 +0900

회사에서 타 부서와 친목 도모 겸 워크샵을 했었는대 당시 발표했던 자료들을 기록한다.

인공지능과 친숙하지 않은 사람에게 설명하기 위한 자료로 기초적인 개념위주이며 표현을 최대한 쉽게 하도록 하였다.

# 인공지능

인공지능

인공지능, AI(Artificial Intelligent), 인공으로 만든 지능

실제 생물과 다른 기계, 프로그래밍의 지능을 말하며 폭 넓게 확률론적 계산영역 부터 룰 베이스 프로그래밍 까지 “인공지능”이라고 불릴 수 있다.

기계학습

보통은 확률론적 계산의 반복과 갱신으로 이루어지며 대표적으로 단순 회귀선 추정 같은 모델부터 다차원 벡터 추정 모델등 수학적인 증명에 의해 결정할 수 있는 모델과 뉴럴 네트워크 기반의 블랙박스 유형의 모델을 모두 포함한다.

뉴럴네트워크

기계학습과 딥러닝 단계에 중간에 위치한 가장 기초적인 신경망 기반 모델링으로 사람의 뇌를 형상화 한 모델이다.

이 모델링을 기초로 오늘날 대세로 자리잡은 딥러닝 모델링으로 발전하였다.

즉 인공지능 이라고 하면 오늘날의 대중적인 AI 모델인 알파고나 GPT같은 강인공지능을 넘보는 생성형 AI뿐만 아니라 단순 회귀선 추정, 계산, 지식 벡터화 등 여러 개념을 통틀어 AI라고 한다.

아래서 부터, 뉴럴네트워크를 기반으로 하는 인공지능에 대해 주로 설명한다.

벡터

수학적 개념에선 단일 숫자로 표현 할 수 없는 공간이나 수량, 집합 등의 크기와 방향을 표현하는 값의 형태이다.

벡터의 크기는 벡터 공간의 총량을 의미하며 1-norm(|X|) 또는 2-norm(||X||)로 표현하며 음수는 불가능 하다.

벡터의 방향은 벡터의 성분의 순서로 관측되는 각도(기울기) 또는 좌표공간을 의미한다.

벡터는 n-차원일 수 있으며 개발 편의상(Numpy 패키지 또는 대 다수 인공지능 관련 패키지를 사용할때) 배열, 행렬, 텐서 등으로 표현 하기도 한다.

선형대수학에서 행렬곱은 특히 현대 뉴럴네트워크 기반 인공지능의 핵심 연산이다.

여기서 크기 [n, f] 행렬, X는 n개 를 f개의 피쳐로 표현한다 라고도 이해 할 수 있다.

	다리 개수	크기	식성	알
코끼리	4	큼	잡식	없음
물고기	0	보통	잡식	있음
토끼	4	작음	초식	없음

예컨대 위와 같은 각 동물의 특징을 표현한 표가 있다고 생각하면, 각 코끼리, 물고기, 토끼라는 3개의 동물을 다리 개수, 크기, 식성, 알 등의 4개의 특징으로 표현한다고 볼 수 있다.

Perceptron

뉴럴네트워크에서 핵심 개념으로 "Nerual" 이라는 이름처럼 인간의 뇌의 시냅스를 형상화한 모델이다.

뉴런의 연결을 가중치(W), 편향(b)으로 표현 할 때 배열곱으로 표현하면,

여기서 W와 b를 θ 로 한번에 표현하기도 한다. 즉 하나의 퍼셉트론은 (일반적으로) 가중치, 바이어스를 포함하여 입력과 가중치에 대해 행렬곱을 하고 편향을 더해주는 일종의 장치(또는 함수)로 이해 할 수 있다.

Multi-Layer Perceptron

각 단일 Perceptron을 하나의 layer라고 표현하면, 멀티 레이어 퍼셉트론은 이름 처럼 다수의 layer로 이루어진 모델이다. 즉 MLP는 다음과 같이 표현 할 수 있다.

가중치에 대한 이해

위의 표로 돌아와서,

표의 데이터를 [3, 4] 의크기를 갖는 배열로 표현해보자.

그리고 가중치라는 명칭은 아마도 어떤 무엇인가에 대해 가중함으로써 어떤 값이 중요하고 덜 중요한지에 대한 값이라고 표현해보자.

위에 동물을 표현한 특징 중, 가장 중요한 특징이 무엇일까? 일반적으로 볼 때 우리는 당연히 "크기"로 생각 할 수 있다.

만약 이 4개의 특징을 압축하여 하나의 특징으로 표현한다고 하면, "크기" 에 계산되는 위치의 가중치를 높이면 아주 좋을 것이다.

가중치의 크기가 [4, 1] 인 배열일 때, [3, 4]인 배열에 배열곱을 취하면 [3, 4]*[4, 1] => [3, 1] 크기의 배열로 조정이 되는대, 이는 3개의 동물을 하나의 특징으로 표현한 배열이라고 할 수 있다.

그럼, 여기서 이 특징들을 내재된 숨겨진 특징으로 확장해본다면?

[4, 5] 의 크기의 가중치라면 위와 같은 논리로, 개의 동물을 5개의 특징으로 표현하는 배열이라고 해석 할 수 있다.

즉 기존 4개의 특징이 f개의 특징으로 확장 또는 축소하여 데이터를 표현하는대, 이는 곧 특성을 다양하게 해석하고 변경한다라고 말 할 수 있다.

출력에 대한 이해

가중치로 데이터의 표현을 확장하거나 축소하였다. 여기서 간단한 MLP 모델의 구조를 보자.

각 레이어는 3개의 데이터를 5, 10, 3 개 등의 특징으로 표현하였다. 이 모델을 3개의 데이터를 4개의 특징으로 코끼리, 물고기, 토끼중 무엇에 가까운지 분류하는 모델이라고 한다고 하자.

마지막 [3,3] 출력 행렬을 y_hat 이라고 하고 우리가 원하는 정답을 y라고 할 때, y_hat 행렬을 y와 가깝도록 계산되도록 각 레이어의 가중치와 편향 값이 정해지면 될것이다.

즉, y_hat 값을 정답인 y와 가깝게 되도록 가중치와 편향 값을 각 레이어에서 조정하는 행위가 바로 지도 학습이라고 할 수 있다.

가중치 업데이트

마지막 출력값과 실제 정답값이 비슷하게 (가깝게) 되도록 가중치를 업데이트 한다.

여기서 가중치의 조정을 위해서는 곧 현재 출력값과 실제 정답값이 "얼마나 비슷한지(가까운지) 에 대한 측정" 이 필요하다.

이러한 측정 방법으로는, 크게 거리 기반 측정 방법, 확률 기반 측정 방법이 있다. 이를 보통 비용 또는 손실로 표현하기도 한다.

가중치 업데이트: 거리 기반 측정 방법

마지막 출력 값이 실제 정답값과 거리적으로 비슷하도록 유도 된다. 여기서 거리라는 것은 벡터사이의 거리(가까운 정도)를 말하며 벡터의 크기를 측정하는 norm(노름) 기반 거리 측정 방법이 주로 쓰인다.

크게 2가지 방법이 있으며 L2 norm 기반인 유클리디안 거리 측정방법, L1 norm 기반인 맨하튼 거리 측정방법이 있다.

유클리디안 거리 측정 방법

두 지점에 대해 직선을 그릴 때 직선의 길이의 합을 말한다.

직각 삼각형에서 빗변의 길이를 구하는 피타고라스의 정리를 생각해보면 이해가 쉽다.

멘하튼 거리 측정 방법

두 지점에 대해 직각으로 이어진 선의 길이의 합을 말하며 멘하튼 같은 사각형의 도시에서 원하는 곳으로 찾아가기 위해 빌딩 사이의 도보를 걸어가는 것이라고 이해하면 된다.

두 방법의 차이는 예를 들어 어떤 건물에서 정문과 엘레베이터 사이의 거리를 계산해본다고 하였을 때 각 방법은 다음과 같다.

가중치 업데이트: 확률 기반 측정 방법

마지막 출력 값이 실제 정답값과 확률적으로 비슷하도록 유도 된다. 확률 이기 때문에 출력 값의 모든 값은 0이상 1이하여야 하며 합이 1이여야 한다.

출력 값을 확률 분포처럼 만들기 위해 시그모이드라는 함수가 등장한다.

시그모이드는 S자형 곡선을 갖는 함수로써 모든 실수 입력값을 0보다 크고 1보다 작은 수로 변환하는 특징을 갖는다.

특히 이 시그모이드함수는 정규분포의 누적 확률 분포와 모양이 비슷하여 모든 값을 정규분포에 근사하고 미분 가능한 확률 분포로 변환 해준다.

참고로 시그모이드는 보통 두개중 하나를 선택하는 이진분류에서 주로 쓰이며 여러 개 중 하나를 선택하는 다중 분류의 경우 소프트맥스라는 함수를 사용하게 된다.

여기서 손실 함수에선 크로스-엔트로피라는 개념이 등장하며 엔트로피는 여러 물질이 무질서하고 무작위한 상태에 분자간 충돌로 높은 에너지가 발생하는 것을 뜻한다.

낮은 엔트로피이면 서로 잘 정리가 되어 있고 분류하기가 쉬워진다. 반대로 높은 엔트로피의 경우 서로 혼합되어 구별하기가 어렵다. 손실 함수의 크로스-엔트로피의 목적은 곧 이러한 엔트로피를 낮추는 것이다.

크로스-엔트로피는 시그모이드 또는 소프트맥스 를 통과시킨 확률 값과 실제 정답 값을 곱하고 더한 값을 구한다.

y_hat 배열에서 각각 1번이 코끼리일 확률 50%, 2번이 물고기일 확률 80%, 3번이 토끼일 확률이 40%일 때 크로스-엔트로피의 값은 약 0.6이며 각 확률이 100% 일때 0이 된다. 즉 모델은 이 크로스엔트로피의 값을 0과 가까운 값으로 계속 조정하면 되는것이다.

가중치 업데이트: 역전파

이제 이러한 손실 값으로 각 레이어가 갖고 있는 가중치를 업데이트할때 손실 값은 모델의 종단(최종 출력)에서 계산되고 반대 방향으로 레이어의 가중치를 업데이트 한다. 이렇게 순서가 역행 하기 때문에 역전파(Backpropagation) 라는 이름으로 불린다.

가중치 업데이트: 경사하강법

가중치를 업데이트하는 가장 단순한 방법으로 경사 하강법이 있다.

예컨대 당신이 어떤 이름모를 산위에 위치해 있고 이제 산 아래로 내려가기를 원할때, 가장 단순한 방법으로 현재 내 위치보다 낮은 곳으로 향하는것이다. 내 위치보다 낮은 위치로 계속 이동하다 지면과 가까워지면 그만큼 경사가 낮아지며 이는 곧 우리가 지면에 도달 할 수 있음을 뜻한다.

이를 모델에 적용하면 경사(기울기)는 곧 미분임으로 t시점의 미분을 통해 기울기를 구하고 각 가중치에 적용을 N번 반복 함으로써 학습이 이루어진다.

마지막 손실 값으로 전체 모델의 가중치를 업데이트 하기 위해 손실값을 모델의 전체 가중치로 미분했을 때

이와 같은 역방향으로 흘러가며 어느 순간 손실 값을 0과 가깝게 조정이 된다면, 이 모델은 훌륭하게 우리가 원하는 목적에 도달 한다고 볼 수 있다.

정리

모델의 크기는 곧 가중치 크기의 총합+a을 의미하며 가중치의 크기는 패턴이나 특징을 표현하고 학습하는 능력을 의미한다.

출력 값은 (지도 학습 인 경우) 원하는 값과 가까운 값으로 유도 되며 이를 통해 관측되지 않은 값으로 부터 예측(추론, 할당)을 한다.

손실 값은 비용 값이라고도 하며 실제 원하는 값과 모델의 출력 값의 차이를 추정하는 값이다.

가중치 업데이트는 손실 값을 낮추는 방향으로 업데이트 하게 되고 업데이트 순서가 마지막 레이어부터 처음 레이어로 반대 순서로 가기 때문에 역전파라고 불린다.

경사하강법은 가중치를 업데이트 할 때 손실 값을 각 레이어의 가중치에 대해 미분을 하였을 때 낮은 값(즉 변화량이 적음)이 되도록 미분 값을 가중치에 감소 시키는 최적화 모형이며 현재에도 자주 사용되는 여러 최적화 모형의 베이스 모형이다.

all elementary functions from a single operator

lottopotato — Fri, 17 Apr 2026 14:59:49 +0900

얼마전 재밌는 논문이 하나 나왔는대 바로 수학에서 쓰이는 대부분의 기초 함수를 하나의 함수의 반복 사용으로 생성 할 수 있음을 증명 했다는 것이다.

그 함수가 바로 Exp-Minus-Log(EML) 이라는 함수로 -+*/, sin, cos, pos, exp,.. 등등의 기초 연산자를 이 함수의 사용으로 대체 할 수 있다고 한다.

뭐 너무 빠르게 읽어봐서 (수학쪽으로 뭐 잘아는것도 아니고 ㅎㅎ) 대충 봤지만 어쨋든 이미지를 보면

eml 함수와 1의 사용으로 기초 연산자를 대체 하여 사용 할 수 있다는 것이다.

그래서 실제 코드로 보면,

def exp(x):
    return np.exp(x)

def ln(x):
    return np.log(x)

def eml(x, y):
    return exp(x) - ln(y)

def exp_x(x):
    return eml(x, 1)

def ln_x(x):
    return eml(1, eml(eml(1, x), 1))

def minus_x(x):
    return eml(eml(1, eml(1, eml(1, eml(eml(1, 1), 1)))), eml(x, 1))

def inv_x(x):
    return eml(eml(eml(1, eml(1, eml(1, eml(eml(1, 1), 1)))), x), 1)

def x_times_y(x, y):
    return eml(eml(1, eml(eml(eml(1, eml(eml(1, eml(1, x)), 1)), eml(1, eml(eml(1, eml(y, 1)), 1))), 1)), 1)

def x_plus_y(x, y):
    return ln_x(
        x_times_y(
            exp_x(x), exp_x(y)
        )
    )

def sqr_x(x):
    return x_times_y(x, x)

이렇게 eml함수와 인자 값에 1과 같이 사용하면 같은 연산 결과가 나온다.

디지털 영상처리

lottopotato — Thu, 16 Apr 2026 17:35:06 +0900

회사에서 타 부서와 친목 도모 겸 워크샵을 했었는대 당시 발표했던 자료들을 기록한다.

인공지능과 친숙하지 않은 사람에게 설명하기 위한 자료로 기초적인 개념위주이며 표현을 최대한 쉽게 하도록 하였다.

# 디지털 영상처리

용어

영상(Image)

일반적인 그림, 사진, 구조물, 조각 등 시각적인 정보를 표현하는 모든 형상들을 말한다.
단순히 평면 상의 그림 뿐만 아니라 입체적인 공간적 개념 또한 “시각적 표현”으로 형상화 될 수 있다.

디지털 영상

이미지를 픽셀이라는 기본 표현 단위로부터 유한적이고 이산적인 값으로 표현한 데이터를 말한다.
기본적으로 x축, y축으로 이루어진 2차원 데이터와 색상 정보 차원을 갖는 3차원 데이터로 표현한다.
색상 정보는 Grayscale 부터 RGB, CMYK 등 색상 맵으로 표현 한다.
익히 알고 있는 JPEG, PNG 등의 파일 포맷이 있으며 파일 포맷 마다 차원이나 압축율 등이 다르다.
디지털 이미지는 보통 배열 형태의 데이터로 표현 할 수 있다.

디지털 영상 처리

디지털 영상을 다루는 여러 프로세스를 말하며 단순 이미지 크기 조정부터 이미지 수정, 분석 등 이미지에 변경을 가하는 대부분의 행위에 대해 다루는 단어이다.
대부분의 경우 수학적 공식에 의해 변화를 가함으로 PNG나 JPEG 등 바이트 형태의 데이터 보단 배열 형태의 데이터를 주로 다루게 된다.

컴퓨터비전

디지털 영상 처리는 전형적인 이미지의 시각적인 변화를 집중한다면 컴퓨터 비전은 이미지의 대한 의미론적 이해, 분류, 객체 검출 등 조금 더 복잡하고 조금 더 인공지능에 가까운 처리를 말한다.
디지털 영상 처리가 로우레벨 프로세싱이라면 컴퓨터 비전은 디지털 영상 처리를 포함하는 하이레벨 프로세싱이다.

디지털 영상 처리 종류

단순 Image resizing 부터 Histogram Equalization, Sharpening & Blurring, Geometric Transformation, Color Transformation 같은 보통 이미지자체에 변형을 가하는 기능과 Thresholding, Edge detection 등 이미지 분해(segmentation) 같은 기능 등 여러 가지 처리 기법이 있다.

이미지처리: 리사이징

이미지의 크기 조정은 언뜻 보기에 단순해 보이지만 실제로 다른 처리 기법과 비교해도 복잡하면 더 복잡 해 질 수 있는 대표적인 처리 기법이다.

이유를 설명해보면, 가로, 세로, 50, 10인 2차원 이미지를 25, 10으로 줄일 때를 생각 해보자.

가장 단순한 방법은 구간별 픽셀을 선택하는 것으로 가로 50 픽셀을 25픽셀로 줄이는 것임으로 가로 픽셀을 ½ 마다 값을 취한다.

0	255	0	255	0	255	…
0	255	0	255	0	255	…
0	255	0	255	0	255	…
…	…	…	…	…	…	…

하지만 이와 같은 방식은 실제로 쓰이기 어렵다.

더군다나 반대로 크기를 키운다고 생각해보면, 크기를 키움으로 써 발생하는 공간에 어떤 픽셀 값을 취하여야 할지 단순한 방법으로는 생각하기 어렵다.

보간법(Interpolation)

보간법은 알고 있는 각 지점 값으로부터 지점 사이에 있는 값을 도출 하기 위한 방식으로 이미지의 크기를 변경 할 때에도 자주 사용되는 기법이다.

선형 보간법은 가장 단순한 보간법중 하나로 두 구간 사이의 값을 선형으로 이어 구간을 도출 한다.

3x3 의 배열로 표현된 이미지가 있고 크기 조정을 통해 새로운 값 x가 도출 되어야 할 때 a, b, c, d들의 중간에 위치한 가운데 값 x를 선형 보간법으로 도출 하면 다음과 같다.

실제로는 선형 보간법은 잘 사용하진 않으며 보간법으로 픽셀을 창조함으로써 화질을 개선 할 수 있기 때문에 이러한 처리는 단순히 크기를 증감 시키는 것 뿐만 아니라 이미지 복원, 화질 개선 등에 사용되기도 한다.

이미지처리: 히스토그램 평탄화

히스토그램 평탄화 처리는 이미지가 협소한 픽셀 분포를 갖고 있을 때 유용한 처리 기법으로 픽셀의 분포를 나타내는 히스토그램의 누적분포함수를 이용하여 픽셀 분포를 넓게 퍼트리는 결과를 얻는 처리 기술이다.

히스토그램

히스토그램은 빈즈라고 하는 표현하는 균등한 구간에 데이터가 포함되었을 때 개수를 상승 시키는 통계 방법 중 하나로 이미지에 적용하면 픽셀의 분포도를 알 수 있다.

누적분포함수

누적분포함수는 각 분포도에서 왼쪽부터 시작하여 오른쪽까지(우연속) 말 그대로 누적하여 표현한 분포도로 보통은 정규화 값을 누적함으로 확률분포로써 사용 될 수 있다. 확률분포로써 누적함수는 각 확률을 누적함으로써 시점(또는 값) x가 x 보다 작거나 같을 확률 Pr(x)을 나타내게 된다. 즉 이미지의 경우 누적 분포 함수로 부터 측정된 픽셀 분포도에서 값이 50인 픽셀이 실제 값 n(여기선 약 113으로 측정됨) 보다 작거나 같은 확률이 Pr(50) ≒ 약 44% 로 볼 수 있다.

픽셀의 분포에 대한 누적 분포임으로 어떤 구간에 픽셀 분포가 급격히 증가하거나 희미하다면 CDF 곡선도 같이 급격하게 변동하게 된다. 곡선이 급격하게 변동한다는 것은 입력 값과 출력 값의 차이가 그만큼 커진다는 것을 의미하며 ‘분포가 많거나 적음 -> 입력 값과 출력 값의 갭이 증가함 -> 실제 입력 값보다 분산이 증가함’ 이라는 생각을 할 수 있다.

평탄화 작업은 픽셀 분포의 CDF의 기울기를 1 과 가깝게 픽셀을 배치함으로써 픽셀 분포를 균등하게 변화 시킨다.

이미지처리: Sharpening & Blurring

대비(Contrast)

이미지를 선명하거나 희미하게 보이게 하는 것은 대비와도 관련이 있다. 대비란 빛과 색상에 의해 물체와 물체를 개별 인식하는 시각적인 특성을 말한다. 우리 눈은 휘도나 색상의 절대 값보다 대비에 더 영향을 받는다.

위의 유명한 짤을 보면 왼쪽과 오른쪽에 있는 캐릭터의 피부색은 RGB(124, 124, 124) 의 같은 색상이다.

Sharpening과 Blurring은 부분적으로 Edge Contrast를 증감 시키는 결과를 얻으며 픽셀이 오돌토돌한 형태가 될 경우 선명도가 올라가고 완만한 형태가 될 경우 선명도가 낮아 질 것이다.

합성곱

선명도를 높이거나 낮추는 방법은 여러 가지 있지만 여기서 다뤄볼 처리 기법은 바로 합성곱 커널을 이용한 처리이다.

합성곱은 본디 두 개의 함수(f, g)의 합성 형태 함수 (f*g)를 구하는 연산으로 대상 함수(f)와 또 다른 함수(g)를 반전하여 곱한 다음 적분한다.

이미지에서 합성곱

합성곱은 이미지영역에 자주 사용 되었는데 향후 이 합성곱을 기반으로 이미지 처리 딥러닝 모델(CNN)이 등장한 배경이 된다.

Sharpening kernel

그래서 합성곱을 하는것은 무슨 의미가 있을까?

다음과 같은 이미지 2D 배열 이 있을때 새로운 커널 g를 구성해본다.

새로운 픽셀을 계산할 때 커널 g에서 가운데 값이 연산되는 픽셀은 5배 증가 시키고 가산하며 그 옆 부분은 음수화하여 감산하게 된다.

이미지 배열에서 2,2 자리의 9값 은 주변에 비해 높은 값을 갖고 있다. f*g에서 같은 자리인 y2를 계산하면

y2 = 1*0 + 2*-1 + 3*0 +

1*-1 + 9*5 + 8*-1 +

2*0 + 3*-1 + 4*0 = 31

이 되며 원래 자리의 값 9를 더욱 강조 시키고 주변 대각 픽셀은 무시, 정각 픽셀로 너무 값이 커지지 않게 조절하여 새로운 값을 구하게 된다. 즉 현재 자리의 픽셀값을 주변 픽셀 값에 비해 강조 시킴으로써 대비를 높여 이미지의 선명도를 키우는 것이다.

Blurring kernel

선명도를 낮추는 처리(희미하게)는 그와 반대로 커널은 예상할 수 있듯이 부드러운 느낌의 값으로 이루어져 있다. 보통은 가우시안 커널이라고 불리는 정규분포를 따르는 완만한 형태를 주로 사용한다.

가우시안 커널g는 합이 1이고 편차가 0을 따르는 표준정규분포를 따르며 가운데 값이 제일 높은 산같은 형태를 보인다. 모든 값은 0 보다 크고 1보단 작음으로 커널에 대상이 되는 필드에서 버려지는 픽셀이 없다. 제일 높은 중심값에서 점점 주변값으로 가중치가 낮아짐으로 아웃풋 대상 픽셀은 점점 주변 픽셀의 값과 비슷하게 조정 되는 효과를 줄 수 있다.

대상 픽셀값이 주변 픽셀 값과 가깝도록 조정되기에 대비가 낮아져 이미지가 희미하게 보이게 된다.

디지털영상처리: Geometric Transformation

이미지에 회전, 변형 등의 기하학적 변형을 가한다. 여러 변형 기법이 있지만 여기선 어파인 변형법을 간단하게만 설명한다.

Affine transformation

어파인 변형법은 이미지에서 보통 세개의 점을 지정하고 세개의 점이 변화될 새로운 세개의 점을 지정함으로써 이미지에 기하학적 변형을 가하는 처리 기법이다.

어파인 변형은 기본적으로 선형식으로 표현이 가능한대, 곱에 해당하는 A 값은 선형 변환을 의미하고 편향에 해당하는 B는 이미지의 이동을 의미하게 된다.

즉 기존의 세개의 점이 새로운 세개의 점으로 향하는 가중치와 편향값을 구하고 이미지에 적용 시키는 과정을 어파인 변형법이라고 한다.

디지털 영상처리: Color Transformation

이미지의 색상맵을 조정하는 처리 기법으로 기하학적 변형법이 좌표 공간(위치)를 이동시키는 기법 이였다면 대비 조정은 픽셀 값을 변형 시키는 기법이다. 변형 방법으론 여러가지 있지만 여기선 어파인 변형법과 비슷한 선형이동과 감마 보정법을 설명한다.

선형 이동은 어파인 변형법과 같이 픽셀 값을 가중치와 편향값에 의해 조정시키는 방법이다.

감마 보정은은 이미지의 밝기 또는 대비를 조절하는 비선형 처리 기법중 하나이다. r 값을 1보다 작은 값으로 둘 경우 이미지가 밝아지며 1보다 높은 값으로 처리할 경우 이미지가 어두워진다.

두개 방식의 차이를 설명하는 가장 좋은 비유는 일정 비율의 곱(또는 합) 과 거듭제곱의 차이를 생각해보면 좋다.

디지털영상처리: Segmentation

이미지 분할은 n개(보통 작은 개수)의 개별 픽셀로 구분하는 처리 기법으로 이미지를 단순화 하여 사용할 때 주로 사용된다.

이미지 분할 기법은 여기서 설명하는 기법보다는 사실 인공지능으로 의미론적 분할을 주로 쓰인다.

여기서는 그냥 아주 단순하게 히스토그램을 사용하여 이미지 분할 해본다.

먼저 RGB채널 이미지를 Grayscale로 변환하고 히스토그램과 히스토그램의 CDF를 구한다.

픽셀 분포 CDF에 따라 밀도가 균등한 분포를 갖는 픽셀 범위 구간을 계산하여 각 픽셀을 범위 구간에 지정된 값으로 치환한다.

디지털영상처리: Edge Detection

edge detection은 이미지 속에 객체로 보이는 물체의 외곽이나 도드라지는 선을 검출하기 위한 처리 기법으로 segmentation과 sharpening 기법과 관련 있는 처리 기법으로 앞서 본 edge contrast를 높이는 sharpening을 적절히 사용하면 가장자리가 더 자세히 검출 될 수 있다.

Canny edge detection

캐니 엣지 디텍션은 edge detection 프로세스에서 간단하면서도 효과적인 파이프라인으로 다음과 같은 순서를 거쳐 가장자리를 구분한다.

1. 가우시안 필터로 노이즈 제거
2. 이미지의 강도 경사 계산: 수평 기울기와 수직 기울기를 특정한 커널로 컨볼루션 연산하여 계산한다.
3. 외곽선을 얻기 위한 비 최대 억제기법 적용: 외곽선이 아닌 픽셀이 계속 진행되는 경우를 억제하기 위해 적용되는 처리 방법.

방향 경사도를 이용하여 지역적인 부분의 픽셀의 최대값들이 경계선에 인접하는지 여부를 측정한다.

4. Double Threshold: 외각선이 끊어 질 수도 있는 경우를 고려하여 이중 구역화를 진행한다

끝~

첫글

lottopotato — Thu, 16 Apr 2026 10:02:16 +0900

첫글~

0	255	0	255	0	255	…
0	255	0	255	0	255	…
0	255	0	255	0	255	…
…	…	…	…	…	…	…

0	255	0	255	0	255	…
0	255	0	255	0	255	…
0	255	0	255	0	255	…
…	…	…	…	…	…	…

0	255	0	255	0	255	…
0	255	0	255	0	255	…
0	255	0	255	0	255	…
…	…	…	…	…	…	…