In the last journal, I found that industry-specific AI kept coming back to three questions.

• ① What is happening right now?
• ② What knowledge is needed to solve the problem?
• ③ How would an expert handle it?

• HealthcarePatient State → Clinical Knowledge → Care Workflow
• LegalMatter State → Legal and Institutional Knowledge → Legal Workflow
• TelecomSubscriber / Network State → Telco and Operator Knowledge → Operational Workflow

I called the common structure underneath them the Domain Context Layer.

Now let’s take the same questions into manufacturing, autonomous driving, and defense.

Except this time, the second question starts to change.

Context doesn’t sit still anymore.

A machine’s temperature and vibration keep changing. Cars and pedestrians move every second. On a battlefield, information that was accurate a few seconds ago may already be stale.

And once AI adjusts a machine, changes a car’s trajectory, or moves a drone, its own action changes the context it will see next.

So Physical AI introduces prediction into the three questions.

• ① What is happening right now?
• ② What is going to happen next?
• ③ So what should I do?

Let’s start with manufacturing.

Manufacturing

From reading the factory to running it

When people say Physical AI, robots are usually the first thing that comes to mind. That was my first thought too.

But before AI can move a robot, there is a more basic problem to solve.

How does AI know what is actually happening inside the factory?

In 2026, Siemens and NVIDIA expanded their collaboration around an Industrial AI Operating System, while Siemens introduced Digital Twin Composer, connecting engineering and simulation data with real-time information from the physical world.

① What is happening right now?Factory / Machine State

Imagine a motor sends this signal.

“Vibration is higher than usual.”

A general-purpose AI can probably give you a respectable list of possibilities: a bearing issue, misalignment, component wear.

But that list is not what an engineer actually needs.

You need to know the current vibration and temperature, RPM and load, maintenance history, and whether other machines on the same line are behaving normally. Only then can you understand what state this machine is actually in.

Looking at those factory machines reminded me of a project I worked on years ago: transitioning a Vision AI-based VMS, or Video Management System, to the public cloud.

One of the questions SK Telecom and Amazon spent a lot of time on was surprisingly similar.

“With all this heavy video data, what should we process on-site, and what should we send to the Center?”

Two words that will keep coming back, so let me pin them down.

• Edge (in the field)Computing close to the physical world, on cameras, sensors and machines, deciding on the spot
• Center (the central server)Computing that gathers what the Edges send up, connects the wider situation and learns from it

Send every raw CCTV stream upstream, and bandwidth and latency quickly become a problem. Process everything at the Edge, and you risk missing patterns that only become visible when multiple cameras are analyzed together.

So we explored architectures where the Edge could quickly handle tasks such as object detection for people and vehicles, as well as activity and anomaly detection for events like intrusion or a person collapsing. The results could then be converted into events and metadata, allowing the Center to connect what was happening across multiple cameras.

Looking back, we were turning CCTV streams into something more structured.

VideoObjects / ActionsSituational Data

We were continuously translating events in the physical world into a digital state that AI could understand.

That is also where a Digital Twin begins. Before you build a beautiful 3D replica of reality, you need a way to keep updating what is actually happening in reality.

② What is going to happen next?Process Knowledge + World Model

Knowing the current state is not enough.

• “If I slow this machine down, will the vibration decrease?”
• “If I reroute this robot, will I create a bottleneck downstream?”

Physical AI needs to do more than read the world. It needs to anticipate what the world will look like next.

That is where the World Model comes in. A World Model learns how the physical world changes — how objects move, interact, and relate to one another in space — so that it can predict future states.

Put simply, it lets AI run the physical world forward in its head. (The Matrix, except this one ships.)

NVIDIA’s Cosmos 3 is moving in this direction as well, going beyond understanding the current scene toward reasoning about physical situations and generating possible future worlds and actions.

If a Digital Twin asks “What state is the world in right now?”, a World Model asks “What happens next?”

③ So what should I do?Operational Control

NVIDIA’s Factory Operations Blueprint, FOX, connects that intelligence back to actual factory operations. It reads real-time factory conditions and coordinates AI systems and machines.

In less technical terms, it starts to look a bit like an AI factory manager.

And once the machine acts, the state changes. That changed state becomes the next input.

This is where the first pattern appears.

• EdgeObserving, predicting and acting quickly on the floor
• CenterCombining data across machines, learning, simulating, updating the model

Instead of one giant AI making every decision, you get a fast Edge loop working together with a broader Center loop.

Autonomous Driving

From seeing the road to predicting the next scene

Autonomous driving makes this structure even easier to see.

The car ahead is drifting slightly to the right. A pedestrian is standing near the crosswalk. A vehicle in the next lane turns on its blinker.

The AI has to understand what is happening now, predict what may happen a few seconds from now, and act immediately.

Two areas Tesla has pushed for years are Vision and Planning. One is about seeing the world through cameras. The other is about deciding how to move through the world it has just understood. Follow those two areas, and the three questions of Physical AI become pretty obvious.

① What is happening right now?Road / Driving State

First comes Vision. Cameras identify nearby vehicles, road geometry, pedestrians, and obstacles to construct the current state of the world around the car.

But much of this decision-making has to happen inside the vehicle, at the Edge. You cannot upload the scene to the cloud and wait for a reply while deciding whether to hit the brakes.

That would be a rather short autonomous-driving experiment.

② What is going to happen next?World Model

When we drive, we constantly predict.

• “Is that car about to cut in?”
• “Is that person about to cross?”

In 2026, Waymo introduced the Waymo World Model, which can generate rare and complex driving situations so autonomous-driving systems can experience them virtually before encountering them on the road.

After all, you cannot intentionally create a dangerous situation on a public road and tell the car:

“Okay, good luck. Figure this one out.”

Better to make mistakes in a simulated world before making them in the real one.

③ So what should I do?Planning → Driving Action

Now we get to Tesla’s second area: Planning. Based on the current road state and what it expects to happen next, the car has to decide whether to slow down, brake, change lanes, or continue.

NVIDIA’s Alpamayo 2 Super similarly connects perception with reasoning, planning, and ultimately driving action. AlpaGym is designed to train these systems in closed-loop simulation, where the vehicle’s actions change the environment it sees next.

And again, two loops appear.

• EdgeObserving, predicting, acting immediately
• CenterAggregating driving experience, learning, simulating, sending better models back to the vehicle

On the road the fast loop keeps running in seconds, while at the Center experiences from many vehicles are turned into better models that eventually return to the Edge.

Same structure as the factory. Interesting.

Defense

Where should the AI brain actually live?

In June 2026, before starting my MBA, I joined a Defense OS planning project at MakinaRocks, a Physical AI startup I had been following for a while. We benchmarked Palantir and Anduril while thinking through what kind of architecture could connect sensors, autonomous platforms, and command systems through a shared AI operating layer.

At first, it looked straightforward.

SensorsCenterAI decisioncommand to battlefield asset

Great. That was easier than expected.
…for about five minutes.

Wait. Where exactly should the decision happen?

• Should every piece of data go to the Center?
• Should a drone at the Edge make decisions on its own?
• What happens when communication goes down?

Looking back, designing the Defense OS was really an exercise in answering the same three Physical AI questions one by one.

And as we worked through them, it became easier to understand why Palantir, strong at the Center, and Anduril, strong at the Edge, need each other. The two companies are in fact collaborating to connect defense data and AI models from the tactical edge to cloud-based enterprise systems.

① What is happening right now?Local State + Shared Mission State

A drone understands what is directly in front of it faster than anyone else. But it does not understand the whole battlefield. The Center has the broader picture, but it may not know every change that happened on the ground three seconds ago.

So you need both: the Edge’s local state, and the Center’s shared mission state.

Anduril’s Lattice connects drones, sensors, and autonomous systems in the field. Palantir’s Maven Smart System, on the other hand, integrates operational data to build a broader mission picture.

Lattice sees one scene on the ground. Maven stitches many scenes together into the bigger picture.

② What is going to happen next?Local Prediction + Mission-Level Prediction

The Edge needs to predict what may happen around it in the next few seconds.

• If this drone continues along its current path, will it enter a threat zone?
• Should it change course now to avoid an obstacle?

At the Center, the scale of the question changes.

• What happens to the overall mission if multiple platforms move at once?
• Which asset should be redirected?
• If multiple sensors are tracking the same target, which signal should be trusted more?

When data and experience generated through Lattice move upstream, Palantir can connect them with broader operational data for analysis and AI learning.

So the architecture starts to look like this.

• EdgePredicting the near future, fast
• CenterCombining many Edge perspectives to predict the larger future

They are looking at the same future, just on different scales and at different speeds.

③ So what should I do?Mission Autonomy

The decision eventually has to come back to the field. Models and mission intelligence improved at the Center can be deployed back to the Edge, where Lattice connects that intelligence to actual autonomous systems.

But what if communication disappears? A drone cannot simply freeze because the Center stopped answering.

That is why Anduril’s direction with Lattice ultimately points toward autonomous systems that can understand enough of the mission to act on their own at the Edge.

The loop becomes:

Lattice collects data in the fieldMaven reasons at the Centerbetter intelligence returns to the EdgeLattice changes the next action

If Palantir is closer to the brain that sees the bigger picture, Anduril is closer to the eyes and hands operating in the field. It is hard to close the loop with only one side.

Strip the product names away and it is the same loop again, with one condition added. The field has to keep turning even when the link to the Center drops.

And closing that loop is hardest here. A factory can keep its sensors running. Cars can collect driving data every day.

But you cannot keep replaying a war because the training set needs another epoch.

That makes the Edge more than just the place where AI runs. In defense, it is also where some of the most valuable data is born.

At MakinaRocks, we kept returning to the same questions.

• What should the Center decide?
• What should the Edge decide on its own?
• And what context actually needs to move between them?

Similar Questions. This Time, the Arrows Never Stop.

In the last journal, Domain AI asked:

What is happening right now?What knowledge do I need to solve it?How would an expert handle it?

Physical AI changes the middle question.

What is happening right now?What is going to happen next?So what should I do?

Once AI acts, the world changes. And that changed world becomes the answer to the first question all over again.

StateModel the WorldAct

But manufacturing, autonomous driving, and defense revealed something else. This loop does not run in one place.

• Edge (the fast loop)Sensing, predicting and acting close to the physical world
• Center (the broad loop)Aggregating states, learning, then sending better models down to the Edge

Lay the three industries on top of one another, and one shape is left.

The point is not to choose one. The real challenge is getting the two loops to work together. Put everything at the Edge, and you can lose the bigger picture. Put every decision at the Center, and latency and connectivity start making decisions for you.

So Physical AI architecture eventually comes down to three questions.

• What should the Edge see and predict?
• What should the Center see and learn?
• And what context should move between them, and when?

My Read | Right Context. Right Place. Right Time.

In the last journal, the thing I kept coming back to was getting the right context at the right moment. Physical AI adds two more dimensions.

• Right ContextWhat does the AI need to know?
• Right PlaceWhere should the decision happen?
• Right TimeHow quickly does it need to act?

In manufacturing, the Edge may need to detect an anomaly immediately while the Center connects what is happening across the factory. In autonomous driving, the car needs to act now, while driving experiences from thousands of vehicles can be learned from centrally. In defense, the Edge still has to move when communications fail, while the Center maintains the broader context needed to coordinate multiple platforms.

Physical AI starts to look less like a problem of building one enormous brain and more like a problem of connecting fast intelligence in the field with broad intelligence at the Center into one learning loop.

The Physical Context Loop I kept seeing is less like a single circle and more like two gears turning at different speeds: Edge and Center, continuously driving each other.

And that led me to one more question. So far, we have looked at factories, cars, and battlefields. What happens if we bring this architecture much closer to home?

What if AI continuously understood where I am, what I am looking at, what I am hearing, and how I am moving?

Next | What If the Context Comes Home?

There is one project I have been finding particularly interesting lately: Meta’s Project Aria.

Project Aria is a research platform that uses glasses to capture the world from a person’s first-person perspective and study machine perception of everyday context. The glasses can collect egocentric video, audio, motion, and other sensor data.

In other words, the context we have been talking about suddenly gets very personal.

• Domain Context Layer“What context matters to me right now?”
• Physical AI“How is the world around me changing, and what happens next?”

With Project Aria, those two questions suddenly move inside a person’s everyday life. The object I am looking at. The room I just walked through. My gaze and movement. What is happening around me right now. All of it can become context for AI.

Project Aria even includes research such as the Aria Digital Twin, which captures real spaces and objects from an egocentric perspective.

Which leads to a rather fun question.

What becomes possible when AI remembers the context of my day better than I do?

Will we still have to start every conversation with ChatGPT by saying, “So, I’m standing here, and five minutes ago I did this, and there’s this thing in front of me…”?

So far, we have looked at how AI learns the context of industries and the physical world. Next, I want to see what happens when that context moves into the place closest to us: everyday life.

지난 글에서는 의료, 법률, 통신의 산업 특화 AI를 따라가며 세 가지 질문이 반복된다는 걸 확인했습니다.

• ① 지금 무슨 일이 일어나고 있는가?
• ② 문제 해결을 위해 어떤 지식이 필요한가?
• ③ 전문가는 어떻게 처리하는가?

• 의료환자 상태 → 임상 지식 → 진료 워크플로
• 법률사건 상태 → 법률 및 조직 지식 → 법률 워크플로
• 통신가입자 / 네트워크 상태 → 통신 및 통신사 지식 → 운영 워크플로

저는 이렇게 반복해서 등장하는 상태, 지식, 워크플로를 도메인 맥락 레이어, Domain Context Layer의 핵심 구조라고 정의해봤습니다.

이번에는 같은 질문을 제조, 자율주행, 국방으로 가져가 보겠습니다.

그런데 제품과 연구를 따라가다 보니 두 번째 질문부터 조금 달라졌습니다.

이번에는 맥락이 가만히 있지 않습니다.

기계의 온도와 진동은 계속 변합니다. 도로에서는 차량과 보행자의 위치가 매초 달라집니다. 전장에서는 몇 초 전까지 맞았던 정보가 이미 오래된 정보일 수도 있습니다.

AI가 기계를 조정하고, 자동차의 경로를 바꾸고, 드론을 움직이는 순간 AI의 행동 자체가 다음 맥락을 바꿉니다.

그래서 Physical AI에서는 세 질문에 ‘예측’이 들어옵니다.

• ① 지금 무슨 일이 일어나고 있는가?
• ② 다음에는 무슨 일이 일어날 것인가?
• ③ 그래서 어떻게 행동해야 하는가?

제조부터 가보죠.

제조

상태를 읽는 AI에서, 공장을 움직이는 AI로

Physical AI라고 하면 로봇부터 떠올리기 쉽습니다. 저도 처음에는 그랬습니다.

그런데 로봇을 움직이기 전에 먼저 풀어야 할 문제가 있습니다.

AI는 공장에서 지금 무슨 일이 벌어지고 있는지 어떻게 알까?

2026년 Siemens와 NVIDIA는 Industrial AI Operating System 구축을 위한 협력을 확대했고, Siemens는 엔지니어링과 시뮬레이션 데이터, 실제 현장의 실시간 정보를 연결하는 Digital Twin Composer를 공개했습니다.

① 지금 무슨 일이 일어나고 있는가?공장 / 기계 상태

공장의 모터에서 이런 신호가 들어왔다고 해보겠습니다.

“진동이 평소보다 커졌습니다.”

범용 AI라면 베어링 문제, 축 정렬, 부품 마모 같은 원인을 잘 나열할 겁니다. 하지만 엔지니어에게 필요한 건 가능한 원인 목록이 아닙니다.

현재 진동과 온도, RPM과 부하, 정비 이력, 같은 라인의 다른 장비 상태까지 함께 봐야 이 기계가 지금 어떤 상태인지 알 수 있습니다.

공장 설비들을 보니 예전에 제가 Vision AI 기반 VMS, Video Management System을 퍼블릭 클라우드로 전환하는 프로젝트를 했던 경험이 떠올랐습니다.

당시 SK텔레콤과 Amazon이 머리를 맞대고 고민했던 질문 중 하나가 이거였습니다.

“이 무거운 영상 데이터 중 무엇을 현장에서 처리하고, 무엇을 중앙으로 보낼까?”

여기서 말하는 Edge와 Center는 간단합니다.

• Edge (현장)카메라, 센서, 설비처럼 물리 세계와 가까운 곳에서 데이터를 바로 처리하고 빠르게 판단하는 현장 컴퓨팅
• Center (중앙 서버)여러 Edge에서 올라온 정보를 모아 더 넓은 상황을 연결하고 학습하는 중앙 컴퓨팅

모든 CCTV 원본 영상을 중앙 서버로 보내면 대역폭과 지연시간 부담이 큽니다. 반대로 Edge에서 전부 처리하면 여러 카메라를 함께 봐야 알 수 있는 전체 상황을 놓칠 수 있고요.

그래서 Edge에서는 사람과 차량 같은 객체 탐지, 침입이나 쓰러짐 같은 행동과 이상 상황 인식을 빠르게 수행하고, 결과를 이벤트와 메타데이터로 만들어 중앙 서버에서 여러 카메라의 정보를 연결하는 구조를 고민했습니다.

돌이켜보면 CCTV 영상을 이렇게 바꾸려던 겁니다.

영상객체 / 행동상황 데이터

현실에서 벌어지는 일을 계속 디지털 상태로 옮기려 했던 셈입니다.

Digital Twin도 결국 여기서 출발합니다. 현실을 3D로 복제하기 전에 지금 현실에서 무슨 일이 일어나고 있는지를 계속 업데이트할 수 있어야 합니다.

② 다음에는 무슨 일이 일어날 것인가?공정 지식 + World Model

현재 상태를 안다고 끝나지는 않습니다.

• “속도를 낮추면 진동이 줄어들까?”
• “로봇 경로를 바꾸면 뒤 공정에 병목이 생기지는 않을까?”

Physical AI에서는 지금 세계를 읽는 것만큼 다음 세계를 예상하는 능력이 중요합니다. 여기에서 World Model이 등장합니다.

World Model은 물체의 움직임과 상호작용, 공간적 관계처럼 현실 세계가 어떻게 변화하는지를 학습해 다음 상태를 예측하는 모델입니다.

쉽게 말하면 AI가 머릿속에서 물리 세계를 한번 굴려보는 셈입니다. (매트릭스의 현실판!)

NVIDIA의 Cosmos 3 역시 현재 장면을 이해하는 데서 그치지 않고 물리적 상황을 추론하고 미래의 세계와 행동까지 생성하는 방향으로 확장되고 있습니다.

Digital Twin이 “지금 세계는 어떤 상태인가?”를 보여준다면, World Model은 “다음에는 어떤 세계가 펼쳐질까?”를 묻는다고 볼 수 있습니다.

③ 그래서 어떻게 행동해야 하는가?운영 제어

NVIDIA의 Factory Operations Blueprint, FOX는 이 판단을 실제 공장 운영으로 연결합니다. 공장의 실시간 상태를 읽고 여러 AI와 기계를 조율합니다.

쉽게 말하면 AI 공장장에 가까운 구조라 볼 수 있겠네요.

기계를 움직이면 상태가 바뀌고, 그 상태는 다시 AI의 입력이 됩니다.

여기서 첫 번째 패턴이 보입니다.

• Edge현장을 빠르게 보고, 예측하고, 행동
• 중앙 서버여러 설비의 상태를 모아 학습, 시뮬레이션하고 모델을 업데이트

하나의 AI가 모든 판단을 하는 게 아니라 빠르게 도는 Edge loop와 더 넓게 보는 중앙 서버 loop가 맞물려 돌아가는 구조죠.

자율주행

세상을 보는 차에서, 다음 장면을 예측하는 차로

자율주행에 오면 이 구조가 더 선명해집니다.

앞차가 오른쪽으로 조금씩 붙습니다. 횡단보도 옆에는 사람이 서 있고, 옆 차선 자동차는 방향지시등을 켰습니다.

AI는 지금 도로를 이해하고 몇 초 뒤 벌어질 일까지 예상한 뒤 바로 행동해야 합니다.

Tesla가 자율주행에서 오랫동안 밀어온 두 축은 Vision과 Planning입니다. 하나는 카메라를 통해 세상을 보는 것이고, 다른 하나는 그렇게 이해한 세계에서 어떻게 움직일지를 결정하는 것입니다. 이 두 영역을 따라가 보면 Physical AI의 세 질문도 꽤 선명하게 보입니다.

① 지금 무슨 일이 일어나고 있는가?도로 / 주행 상태

먼저 Vision입니다. 카메라를 통해 주변 차량과 도로 구조, 보행자와 장애물을 인식해 지금 차량 주변의 세계가 어떤 상태인지 구성합니다.

다만 이 판단은 Edge에서 바로 이루어져야 합니다. 브레이크를 밟을지 고민하면서 영상을 클라우드에 보내 답장이 오기를 기다릴 수는 없으니까요.

② 다음에는 무슨 일이 일어날 것인가?World Model

우리는 운전을 할 때 계속 다음 상황을 예측합니다.

• “저 차가 들어올까?”
• “저 사람이 건널까?”

2026년 Waymo가 공개한 Waymo World Model은 실제 도로에서 경험하기 힘든 희귀하고 복잡한 상황까지 가상으로 만들어 자율주행 AI가 먼저 경험하도록 합니다.

실제 도로에 위험 상황을 일부러 만들어놓고 이렇게 말할 수는 없으니까요.

“자, 이번에는 네가 알아서 잘 피해봐.”

현실에서 실수하기 전에 가상의 세계에서 먼저 실수해보는 겁니다.

③ 그래서 어떻게 행동해야 하는가?주행 계획 → 주행 행동

이제 Tesla의 두 번째 축인 Planning으로 넘어갑니다. 앞에서 본 도로 상태와 예상한 다음 상황을 바탕으로 속도를 줄일지, 브레이크를 밟을지, 차선을 바꿀지를 결정합니다.

NVIDIA의 Alpamayo 2 Super 역시 인식에서 끝나지 않고 추론과 계획을 실제 주행 행동까지 연결합니다. 함께 공개된 AlpaGym은 차량의 행동이 환경을 바꾸는 closed-loop simulation에서 다시 학습하도록 설계됐습니다.

여기서도 두 loop가 보입니다.

• Edge보고, 예측하고, 즉시 행동
• 중앙 서버많은 주행 경험을 모아 학습하고 simulation으로 모델을 개선해 차량으로 전달

현장에서는 이 흐름이 초 단위로 반복되고, 중앙 서버에서는 더 많은 경험을 모아 좋은 판단을 다시 Edge로 내려보냅니다.

제조에서 봤던 구조가 다시 등장했습니다.

국방

전장에서 AI의 두뇌는 대체 어디에 있어야 할까?

2026년 6월, MBA를 앞두고 평소 관심 있었던 Physical AI 스타트업인 MakinaRocks에서 Defense OS를 기획하는 프로젝트에 참여했습니다. Palantir와 Anduril을 benchmark하면서 센서, 자율 플랫폼, 지휘 시스템을 하나의 AI 운영 레이어로 연결한다면 어떤 아키텍처가 필요할지를 고민했습니다.

처음에는 단순해 보였습니다.

센서중앙 서버AI 판단전장 자산에 명령

오케이. 생각보다 간단한데?
…라는 생각은 오래 가지 않았습니다.

잠깐만. 그런데 판단을 어디서 하지?

• 모든 데이터를 중앙 서버로 보내야 할까?
• 드론 같은 Edge도 직접 판단해야 할까?
• 통신이 끊기면?

돌이켜보면 MakinaRocks에서 Defense OS를 고민했던 과정도 결국 Physical AI의 세 질문에 하나씩 답을 찾아가는 과정이었습니다.

그리고 그 답을 찾다 보니 왜 중앙 서버에 강한 Palantir와 Edge에 강한 Anduril이 서로 필요할 수밖에 없는지가 보이기 시작했습니다. 두 회사는 실제로 tactical edge에서 cloud 기반 enterprise까지 국방 데이터와 AI 모델을 연결하기 위한 협력을 진행하고 있습니다.

① 지금 무슨 일이 일어나고 있는가?로컬 상태 + 공유 임무 상태

드론은 바로 앞의 상황을 가장 빨리 알지만 전체 전장을 모릅니다. 중앙 서버는 더 넓은 그림을 볼 수 있지만 방금 현장에서 발생한 모든 변화를 즉시 알지는 못합니다.

그래서 Edge의 로컬 상태와 중앙 서버의 공유 임무 상태가 동시에 필요합니다.

Anduril의 Lattice는 드론, 센서, 자율 시스템을 현장에서 연결합니다. 반대로 Palantir의 Maven Smart System은 대규모 작전 데이터를 통합하는 mission command platform으로 더 넓은 임무 상태를 구성합니다.

Lattice가 현장의 한 장면을 본다면, Maven은 중앙 서버에서 여러 장면을 붙여 전장의 큰 그림을 보는 셈입니다.

② 다음에는 무슨 일이 일어날 것인가?로컬 예측 + 전체 임무 예측

Edge는 몇 초 뒤 내 주변에서 무슨 일이 벌어질지 빠르게 봐야 합니다.

• 저 드론이 이대로 이동하면 위협 범위에 들어갈까?
• 앞의 장애물을 피하려면 지금 경로를 바꿔야 할까?

중앙 서버에서는 질문의 크기가 달라집니다.

• 여러 플랫폼이 움직이면 전체 임무는 어떻게 달라질까?
• 어느 자산을 어디로 보내야 할까?
• 여러 센서가 같은 표적을 보고 있다면 무엇을 더 신뢰해야 할까?

Lattice를 통해 현장에서 만들어진 데이터와 경험이 중앙 서버로 올라가면, Palantir의 플랫폼은 이를 더 넓은 작전 데이터와 연결해 분석과 AI 학습에 활용할 수 있습니다.

즉, 구조는 이렇게 나뉩니다.

• Edge가까운 미래를 빠르게 예측
• 중앙 서버여러 Edge의 정보를 모아 더 큰 미래를 예측

같은 미래를 보더라도 보는 범위와 시간이 다른 거죠.

③ 그래서 어떻게 행동해야 하는가?현장 임무 자율

그리고 판단은 다시 현장으로 돌아가야 합니다. 중앙 서버에서 고도화된 모델과 판단이 만들어지면 이를 다시 Edge에 배포하고, Lattice는 그 intelligence를 실제 자율 플랫폼의 행동으로 연결합니다.

그런데 통신이 끊기면 어떨까요? 중앙의 명령이 없다고 드론이 그대로 멈춰 있을 수는 없습니다.

그래서 Anduril이 Lattice를 통해 밀고 있는 방향도 결국 현장의 자율 시스템이 일정 수준의 임무를 이해하고 스스로 행동하는 것입니다.

결국 이런 흐름입니다.

Lattice가 현장에서 데이터를 수집Maven이 중앙 서버에서 고도화된 판단더 나은 intelligence 다시 Edge로Lattice가 다음 행동을 바꾼다

Palantir가 넓게 보는 두뇌라면, Anduril은 현장에서 보고 움직이는 눈과 손에 가깝습니다. 둘 중 하나만으로는 이 loop를 끝까지 닫기가 어렵습니다.

제품 이름을 걷어내고 보면 제조, 자율주행에서 본 것과 같은 모양의 루프입니다. 다만 통신이 끊겨도 현장이 스스로 돌아야 한다는 조건이 하나 더 붙습니다.

그리고 이 loop를 끝까지 닫는 일이 국방에서는 유독 더 어렵습니다. 공장은 계속 센서를 돌릴 수 있고 자동차는 매일 도로를 달리지만, 전장을 학습 데이터 수집용으로 반복할 수는 없으니까요.

그래서 국방에서 Edge는 AI가 실행되는 장소이면서 동시에 가장 귀한 데이터가 처음 만들어지는 장소이기도 합니다.

MakinaRocks에서 저희가 계속 돌아왔던 질문도 결국 이것이었습니다.

• 무엇을 중앙 서버에서 판단할 것인가?
• 무엇을 Edge가 스스로 판단할 것인가?
• 둘 사이에는 어떤 맥락만 오가야 하는가?

비슷한 세 질문인데, 이번에는 화살표가 끝없이 순환합니다

지난 글의 Domain AI는 이렇게 물었습니다.

지금 무슨 일이 일어나고 있는가?필요한 지식은 무엇인가?전문가는 어떻게 처리하는가?

Physical AI에서는 가운데 질문이 달라집니다.

지금 무슨 일이 일어나고 있는가?다음에는 무슨 일이 일어날 것인가?그래서 어떻게 행동해야 하는가?

AI가 행동하면 세계가 바뀌고, 바뀐 세계가 다시 첫 번째 질문의 답이 됩니다.

상태World Model행동

그런데 제조, 자율주행, 국방을 같이 놓고 보니 한 가지가 더 보였습니다. 이 loop가 한곳에서만 돌지 않습니다.

• Edge (빠른 Loop)감지 → 예측 → 행동. 현장 가까이에서 분석, 판단
• 중앙 서버 (넓은 Loop)여러 상태를 모아 학습하고 더 나은 모델을 Edge로 내려보냄

제조, 자율주행, 국방에서 본 루프를 하나로 겹쳐보면 결국 이 모양입니다.

두 loop가 제대로 맞물리게 하는 것이 Physical AI의 핵심 과제입니다. Edge가 모든 것을 판단하면 전체 맥락을 놓칠 수 있고, 중앙 서버가 모든 판단을 가져가면 latency와 connectivity가 발목을 잡죠.

결국 Physical AI의 architecture는 세 질문으로 다시 압축됩니다.

• 무엇을 Edge가 보고 예측해야 하는가?
• 무엇을 중앙 서버가 보고 학습해야 하는가?
• 둘 사이에는 어떤 맥락이 언제 오가야 하는가?

제 생각 | 알맞은 맥락을, 알맞은 곳에서, 알맞은 때에

지난 글에서 제가 가장 중요하게 본 건 필요한 순간에 맞는 맥락을 가져오는 것이었습니다. Physical AI에서는 여기에 두 가지가 더 붙습니다.

• Right Context무엇을 알아야 하는가?
• Right Place어디에서 판단해야 하는가?
• Right Time언제까지 행동해야 하는가?

제조에서는 이상 상황을 Edge에서 바로 감지하되 여러 설비의 상태는 중앙 서버에서 함께 봐야 합니다. 자율주행에서는 차량이 즉시 판단하되 수많은 차량의 경험은 중앙 서버에서 다시 학습해야 합니다. 국방에서는 통신이 끊겨도 Edge가 움직여야 하지만 여러 플랫폼을 하나의 임무로 조율하는 더 넓은 그림도 필요합니다.

결국 Physical AI는 하나의 거대한 brain을 만드는 문제라기보다, 현장의 빠른 intelligence와 중앙 서버의 넓은 intelligence를 어떻게 하나의 learning loop로 연결할 것인가의 문제에 가까워 보입니다.

제가 이번 글에서 발견한 Physical Context Loop는 Edge와 중앙 서버 사이를 서로 다른 두 속도로 톱니바퀴처럼 맞물려 도는 loop에 더 가까운 것 같습니다.

그런데 여기까지 쓰고 나니 한 가지가 더 궁금해졌습니다. 지금까지는 공장, 자동차, 전장을 봤습니다. 그렇다면 이 구조를 우리의 일상으로 가져오면 어떻게 될까요?

내가 지금 어디에 있고, 무엇을 보고 있고, 무엇을 듣고 있고, 어떻게 움직이고 있는지까지 AI가 계속 이해할 수 있다면요.

다음 이야기 | 맥락이 일상으로 들어온다면?

다음 편에서는 제가 요즘 꽤 재미있게 보고 있는 프로젝트 하나를 소개해볼까 합니다. Meta의 Project Aria입니다.

Project Aria는 안경 형태의 디바이스를 통해 사람의 1인칭 시점에서 일상의 맥락을 포착하고 machine perception을 연구하는 플랫폼입니다. Aria glasses는 egocentric video, audio, 움직임 등 여러 센서 데이터를 수집할 수 있고, Meta는 이를 사용자의 context를 포착하기 위한 wearable research platform으로 설명합니다.

• Domain Context Layer“지금 나에게 필요한 맥락은 무엇인가?”
• Physical AI“내 주변의 세계는 지금 어떻게 움직이고 있고, 다음에는 어떻게 바뀔까?”

Project Aria에서는 이 두 질문이 갑자기 ‘개인의 일상’ 안으로 확 들어옵니다. 내가 보고 있는 물건, 방금 지나온 공간, 내 시선과 움직임, 지금 벌어지고 있는 상황. 이런 것들이 AI에게 새로운 context가 될 수 있는 겁니다.

실제로 Project Aria에는 현실 공간과 물체를 1인칭 관점에서 포착한 Aria Digital Twin 같은 연구 데이터도 있습니다.

그러면 꽤 재미있는 질문이 생깁니다.

AI가 나보다 내 하루의 맥락을 더 잘 기억하게 된다면, 무엇이 가능해질까?

ChatGPT에게 매번 “지금 내가 어디에 있고, 방금 뭘 했고, 앞에 뭐가 있는데…”라고 처음부터 설명하지 않아도 되는 세상이 올까요?

이번까지는 AI가 산업과 물리 세계의 맥락을 어떻게 이해하는지를 봤다면, 다음 편에서는 그 맥락이 우리의 일상으로 들어왔을 때 어떤 모습이 되는지 살펴보겠습니다.