AI Is Outgrowing the IQ Test

When I decided to start this journal, the hardest part was choosing what to write about first.

Models, agents, context, memory, execution layers, chips, data centers, robotics... where do I even start?

There is disruptive change happening across almost every layer of the AI stack, so picking the first topic took more thought than I expected.

I decided to start with the AI model itself.

Models still set the ceiling for what the rest of the system can do. You can give an agent memory and run it on great infrastructure, but its ability to understand what is happening and decide what to do next still begins with the model.

So where are AI models actually heading?

There is a surprisingly fun way to answer that question.

Look at how the exams are changing.

Whenever a new AI model comes out, I tend to open the benchmark table first. These days, though, I care less about the score itself and more about one question:

“What new exam are we making AI take this time?”

A few years ago, the same names kept showing up.

MMLU. GSM8K. HumanEval.

MMLU, Measuring Massive Multitask Language Understanding, evaluates models across 57 subjects including math, history, law, and computer science. Think of it as a giant general-knowledge exam asking, “How much does this model know, and how well can it use what it knows?”

GSM8K, Grade School Math 8K, contains around 8,500 grade-school math word problems. Think: “There were 12 apples, 3 were given away, and then half of the remaining apples...” The point is whether the model can reason through multiple steps without losing the thread.

HumanEval gives the model small Python programming problems and checks whether the code it writes actually passes unit tests.

Different subjects, but a pretty similar exam format.

The problem is already defined. Most of the information you need is sitting inside the prompt. Submit an answer, get graded, done.

Basically, standardized testing for AI.

Open a model card today, though, and the syllabus looks very different.

• Long-horizon software engineering
• Agentic computer use
• Tool use
• Long context
• Professional knowledge work

The question we ask AI is gradually shifting from “Does it know the answer?” to “Can it actually finish the work?”

And one benchmark captures this shift particularly well, with a name that sounds appropriately final-boss-ish: Agents’ Last Exam.

The name has a certain “no retakes” energy to it. Cue dramatic music.

What Happens When You Take Away the Test Paper and Give AI a Laptop?

Agents’ Last Exam, or ALE, is an agent benchmark led by UC Berkeley.

It spans 13 industry domains, 55 subdomains, and more than 1,000 tasks across manufacturing, semiconductors, finance, law, healthcare, life sciences, robotics, animation, and more.

More than 250 industry experts helped turn real professional workflows into benchmark tasks.

A few examples make the idea much easier to grasp.

• ManufacturingOpen Moldex3D and run an injection-molding simulation.
• AnimationRig a character in Blender and recreate a reference motion.
• RadiologyReview the chest X-rays and make the annotation decisions.
• Visual EffectsOpen DaVinci Resolve, remove the green screen, and composite the footage against a reference.

These tasks come from projects that professionals have actually worked on. They are converted into natural-language instructions with input files, required software, final deliverables, and evaluation criteria. Engineers dry-run the tasks, and experts perform the final quality check.

If MMLU handed AI an exam paper, Agents’ Last Exam hands it a laptop and says:

“All right. Let’s see you work.”

Figure 6 in the paper looks remarkably close to that.

The agent operates inside a virtual machine. It sees screenshots, uses a mouse and keyboard, runs shell commands, edits files, calls APIs, and eventually has to produce something real.

At this point, it starts looking less like a benchmark and more like a new-hire onboarding assignment.

The Problem Is, AI Is Still Pretty Bad at This Exam

ALE divides its tasks into three levels: Near-Term, Full-Spectrum, and Last-Exam.

Near-Term covers work that current AI can already make some progress on. Full-Spectrum introduces more complex workflows, and Last-Exam gets closer to the kind of work an expert might spend a long time completing.

One of the strongest configurations in the paper, Codex + GPT-5.5, fully passed 38.1% of Near-Term tasks and 22.7% of Full-Spectrum tasks.

On Last-Exam, it scored 0%.

...Wait. Did I read that right?

Not every agent scored zero. Some configurations, including ALE-Claw + GPT-5.5 and Cursor + GPT-5.5, reached 2.6%, meaning they fully completed one of the 38 Last-Exam tasks.

Still, the average full-pass rate across mainstream agents on Last-Exam remained below 1%.

The numbers were so much lower than I expected that at first they felt almost strange. But thinking about my own experience using AI at work, they also made sense.

Spend enough time with ChatGPT and it is easy to catch yourself thinking:

“Okay, wow. Is there anything this thing can’t do anymore? Am I next?”

Then you hand it a workflow that used to take a professional several days, and the gap becomes very obvious, very quickly.

It has to understand the assignment. Choose the right tools. Handle unexpected problems along the way. Remember what it already did.

And at the end of all that, it still has to produce something a person would actually use.

There is still a lot of distance between generating an impressive answer and reliably carrying a real piece of work all the way to completion.

Why Do Even the Smartest Models Struggle So Much Here?

At this point, I became genuinely curious.

What exactly is going wrong if state-of-the-art models like GPT-5.5 and Fable still fail to complete almost all of the hardest tasks?

My first guess was GUI failure.

Are they still clicking the wrong button?

Turns out GUI failure accounted for only 4% of observed failures.

The biggest category was Approach, at 47%.

Wrong Strategy accounted for 30%, while another 17% came from tasks that were incomplete or abandoned.

Understanding accounted for another 31%. Domain Knowledge Gap alone made up 25%, with hallucination or fabrication at 6%.

Execution issues such as output-format errors and implementation bugs accounted for 22%.

AI was far more likely to fail because it misunderstood the job or chose the wrong way to approach it than because it could not operate the interface.

That led me to another thought.

What if we simply build a better execution environment around the model? Maybe the AI equivalent of a shiny office, a great desk, and a very expensive chair would help.

A simple way to think about an agent is a foundation model surrounded by an execution environment that lets it actually get things done.

That environment handles things like tool use, interaction with external systems, multi-step planning, and orchestration.

ALE gives us an interesting comparison here.

When researchers kept the OpenClaw execution environment fixed and changed only the foundation model, pass rates varied by as much as 16.8 percentage points.

When they held the model constant and changed the execution environment, the gap was between 4.9 and 7.2 points.

In these experiments, the spread associated with model choice was roughly three times larger. The researchers also identified reasoning and domain knowledge as major bottlenecks.

An uncomfortable finding for anyone hoping the nice desk and expensive chair would solve the productivity problem.

ALE Is Already Shaping Where the AI Industry Is Going

This is where benchmarks get even more interesting.

The ALE paper argues that benchmarks can shape research attention and engineering targets. I have started thinking about them as future job descriptions for AI.

Look at what appears on the new exam, and you get a pretty good hint of what the industry wants the next generation of models to do.

1. OpenAI: End-to-End Work

One of the first things that caught my attention in OpenAI’s GPT-5.6 announcement in July was ALE.

GPT-5.6 Sol scored 53.6 on Agents’ Last Exam, which evaluates long-running professional workflows across 55 fields.

OpenAI also emphasized “more useful work from every token.” At medium reasoning, it reported higher ALE performance than Claude Fable 5 at roughly one quarter of the estimated cost.

What interested me more than the 53.6 itself was seeing ALE become one of the headline scorecards for a flagship model.

The ability to complete long professional workflows, and to do so efficiently, is becoming a capability worth putting front and center.

Output tokens Latency API cost

2. Google: Putting Intelligence’s Hands to Work

Google DeepMind’s Gemini benchmark table points in a similar direction.

DeepSWE evaluates long software-engineering tasks inside real codebases.

Terminal-Bench asks models to complete multi-step tasks through a terminal, while OSWorld puts agents inside browsers and desktop applications and asks them to operate the computer directly.

Taken one by one, they look like separate tests.

Put them together, and Google’s direction becomes much clearer.

The model is expected to stay inside real software environments, work over longer periods, and actively use computers and tools to keep the job moving.

That makes Google’s emphasis on “frontier intelligence with action” feel pretty literal.

3. Anthropic: Managing Context for Longer Work

Once an agent starts working for hours instead of minutes, another problem shows up.

Context piles up very quickly.

There are the original instructions, opened files, dozens of tool results, earlier decisions, and decisions that were later revised.

Anthropic treats this as an engineering problem in its own right: context engineering.

The question is what the agent should keep, what can be compressed, and what should be retrieved again later when it becomes relevant.

More specifically, as system instructions, tools, documents, external data, and message history continue to accumulate, the system has to keep rebuilding the context around what the model actually needs to make the next decision.

More context is not automatically better. As the context grows, the important signals can become harder for the model to focus on.

The idea is closer to having the most relevant context than simply having the biggest context.

It is surprisingly similar to how people work.

None of us keeps every email, meeting, and document we have ever seen loaded into working memory. We remember the important decisions and go back to the old email or document when we need the details.

One day, perhaps AI too will find itself searching for FINAL_final_REALLY_FINAL_final_v7.

As task horizons get longer, “How big is the context window?” becomes less interesting on its own.

The harder question is: “What should be inside it right now?”

Context engineering is becoming an important part of making agents work over longer horizons, and it is a topic I want to return to in a future piece.

I Ran Into This Problem While Building Telecom AI

Looking back, I spent a lot of time thinking about this exact problem while building domain-specific LLMs and customer-care AI in telecom.

Working with telecom operators across four continents to develop a telecom-specific language model and AI platform taught me one thing very clearly.

Domain expertise does not come from simply feeding a model more industry data.

Imagine a customer saying:

“My roaming isn’t working.”

The sentence is simple. Solving the problem is not.

You need to know which country the customer is in, what plan they are on, whether they are connected to the right local partner network, and what device they are using. The next action can also change depending on what troubleshooting they have already tried or whether they just landed at an airport and need service immediately.

So we had to structure the actual work in a way the AI could understand.

For example, the system might first classify the request as a roaming issue. It would then identify the information needed for the decision, such as the customer’s current country, plan, device, and partner-network status. Depending on those signals, the next workflow could branch into troubleshooting, policy guidance, or escalation.

That experience made one thing clear to me.

Domain expertise is not just about knowing what something is. To do the job, AI also has to know what information matters in this particular situation, what changes the decision, and what should happen next.

That is why ALE’s failure modes around domain knowledge and strategy felt so familiar to me. The gap between knowing the domain and understanding the situation is much larger than it first appears.

My Read

What struck me most while writing this piece is how much AI evaluation is starting to resemble the way we evaluate people at work.

At a company, nobody is judged by how many facts they can memorize.

What matters is whether you understand the situation, pick out what actually matters from a flood of information, use the right tools, adjust when things go sideways, and eventually come back with something useful.

Looking at ALE, AI seems to be getting the same treatment.

I had assumed that as we gave agents more tools and better execution environments, the limitations of the underlying model would gradually matter less.

ALE points in a different direction. Reasoning, strategy, and domain knowledge keep resurfacing as fundamental problems.

Being able to use a tool and knowing when, why, and how to use it are still very different capabilities.

That is probably what I will keep watching as models evolve.

I care less about how many questions a model can get right and more about whether it can stay on track for hours, hold onto the right context, keep making good decisions, and reliably carry one piece of work all the way to completion.

Once agents actually enter the workplace, reliability and cost will matter too, along with how deeply the AI understands the industry and the company it is working for.

And that leads to the next question.

If domain expertise matters this much, how do we actually build it into AI?

Do we fine-tune the model? Bring in company knowledge through RAG? What belongs in context and memory, and how do we teach the workflow itself?

Then there is the harder part: the knowledge that exists only in an expert’s head.

“When this happens, check this first.”
“If that number looks off, start over there.”
“The policy says one thing, but in practice, this order works better.”

Connecting AI to a company’s data and teaching AI how that company actually works are two very different problems.

In the next piece, I want to look at real domain-specific AI examples and explore how models can learn an industry’s expertise and ways of working. I’ll dig into where fine-tuning, RAG, context, memory, and workflows each fit, and what we can do with the tacit knowledge that never made it into a document in the first place.

Stay tuned! 😉

저널을 써야겠다고 마음먹고 가장 어려웠던 건 첫 주제를 고르는 일이었습니다.

Model, agent, context, memory, execution layer, chip, data center, robotics.. 대체 어디서부터 시작하지..

AI stack의 거의 모든 영역에서 그야말로 파괴적인 혁신이 일어나고 있다 보니, 첫 글의 주제를 고르는 것만으로도 꽤 긴 고민이 필요했죠.

첫 번째 글은 AI model에서 시작해보려고 합니다.

Model은 이 모든 system이 어디까지 갈 수 있는지를 결정하는 출발점이기 때문입니다. Agent에게 memory를 붙이고 훌륭한 infrastructure 위에서 돌려도, 그 안에서 무엇을 이해하고 무엇을 해야 할지 판단하는 능력은 결국 model에서 시작됩니다.

그렇다면 요즘 AI model은 정확히 어떤 방향으로 발전하고 있을까요?

이 질문에 답하는 꽤 재미있는 방법이 있습니다.

바로 model을 평가하는 시험지가 어떻게 바뀌고 있는지를 보는 겁니다.

AI 모델이 새로 나올 때마다 저는 benchmark table부터 열어보는 편인데요. 요즘은 점수보다 “이번에는 무슨 시험을 새로 치고 있지?”를 먼저 봅니다.

몇 년 전만 해도 늘 비슷한 이름들이 보였죠.

MMLU. GSM8K. HumanEval.

MMLU, Measuring Massive Multitask Language Understanding은 수학, 역사, 법학, 컴퓨터공학 등 57개 분야에서 모델의 지식과 reasoning을 평가합니다. “이 모델이 세상에 대해 얼마나 많이 알고 있고, 그걸 얼마나 잘 꺼내 쓰는가?”를 보는 종합시험에 가깝죠.

GSM8K, Grade School Math 8K는 약 8,500개의 초등학교 수준 수학 문장제로 구성되어 있습니다. “사과가 12개 있었는데 3개를 주고, 남은 것의 절반을…” 같은 문제를 여러 단계에 걸쳐 제대로 풀어낼 수 있는지를 봅니다.

HumanEval에서는 작은 Python programming problem을 줍니다. 모델이 코드를 작성하면 실제 unit test를 통과하는지 확인하죠.

과목은 달라도 시험 치는 방식은 꽤 비슷했습니다.

문제는 이미 정해져 있고, 필요한 정보도 대부분 prompt 안에 들어 있습니다. 답을 제출하면 채점하고 끝이죠.

그야말로 AI판 수능에 가까웠습니다.

그런데 요즘 model card를 열어보면 시험 과목이 꽤 달라졌습니다.

• Long-horizon software engineering
• Agentic computer use
• Tool use
• Long context
• Professional knowledge work

요즘 AI에게 던지는 질문은 점점 “정답을 알고 있나?”에서 “이 일을 실제로 끝낼 수 있나?” 쪽으로 이동하고 있습니다.

그리고 이 흐름을 가장 재미있게 보여주는 benchmark 중 하나가 이름부터 끝판왕스러운 Agents’ Last Exam입니다.

재시험 따위는 없다는 비장함이 느껴집니다. (두둥)

시험지를 치우고 AI에게 노트북을 줬더니 생긴 변화?

Agents’ Last Exam, ALE는 UC Berkeley가 주도한 agent benchmark입니다.

13개 산업 domain, 55개 subdomain에 걸쳐 1,000개가 넘는 task를 다룹니다. 제조, 반도체, 금융, 법률, 의료, 생명과학, robotics, animation까지 들어가 있으니 범위가 상당히 넓죠.

250명이 넘는 industry expert가 실제 professional workflow를 benchmark task로 만드는 데 참여했습니다.

Task 몇 개만 보면 어떤 시험인지 바로 감이 오실 겁니다.

• Manufacturing(제조)Moldex3D를 열어 injection molding simulation을 돌리세요.
• Animation(애니메이션)Blender에서 character를 rigging하고 reference motion을 재현하세요.
• Radiology(영상의학)Chest X-ray를 보고 annotation을 판단하세요.
• Visual Effects(시각효과)DaVinci Resolve를 열어 green screen을 제거한 뒤 reference에 맞게 compositing하세요.

각 분야 전문가들이 실제로 했던 프로젝트를 가져와 natural-language instruction, input files, 사용할 software, 최종 deliverable, evaluation criteria가 있는 task로 바꿨습니다. Engineer가 직접 dry-run을 하고 마지막에는 expert QC까지 거칩니다.

MMLU가 AI에게 시험지를 건넸다면, Agents’ Last Exam은 노트북을 건네고 “좋아요. 이제 한번 일해보세요”라고 하는 시험에 가깝죠.

논문의 Figure 6을 보면 정말 그렇게 생겼습니다.

Agent는 Virtual Machine 안에서 screenshot을 보고 mouse와 keyboard를 사용합니다. Shell command를 실행하고, file을 수정하고, API도 호출하죠.

마지막에는 뭔가를 실제로 만들어내야 합니다.

이쯤 되니 benchmark라기보다 신입사원 온보딩 과제처럼 보이기 시작합니다.

그런데 AI는 아직 이 시험을 꽤 못 칩니다

ALE는 task를 Near-Term, Full-Spectrum, Last-Exam 세 단계로 나눕니다.

Near-Term은 현재 AI도 어느 정도 해볼 만한 업무입니다. Full-Spectrum으로 올라가면 workflow가 더 복잡해지고, Last-Exam쯤 가면 전문가가 오랜 시간 수행하던 수준의 작업이 등장하죠.

논문에서 가장 강한 조합 중 하나였던 Codex + GPT-5.5는 Near-Term task의 38.1%, Full-Spectrum의 22.7%를 완전히 통과했습니다.

그런데 Last-Exam에서는 0%였습니다.

...잉? 내가 잘못봤나?

물론 모든 agent가 0%였던 건 아닙니다. ALE-Claw + GPT-5.5나 Cursor + GPT-5.5처럼 일부 조합은 2.6%, 즉 38개 task 중 1개를 통과했습니다.

그래도 mainstream agent 전체의 Last-Exam 평균 full-pass rate는 1%에도 미치지 못했습니다.

제 기대보다 너무 낮은 숫자라 이상하다는 생각을 하기도 했지만, AI 모델을 사용해본 경험을 떠올려보면 이해가 되기도 했습니다.

업무에서 ChatGPT를 조금 오래 쓰다 보면 이런 생각이 듭니다.

“오.. 대박인데? 이제 웬만한 일은 거의 다 하는 거 아닌가? 나도 대체되면 어떡하지...”

그런데 전문가가 며칠 동안 수행하던 workflow를 통째로 맡겨보면 그 어마어마한 gap을 금방 느끼게 됩니다.

Assignment부터 제대로 이해해야 하죠. 필요한 tool도 골라야 하고, 중간에 예상하지 못한 일이 벌어지면 대응해야 합니다. 앞에서 무엇을 했는지도 기억해야 하고요.

마지막에는 사람이 실제로 쓸 수 있는 결과물까지 내놓아야 합니다.

여기까지 가면 그럴듯한 답변 하나를 만드는 것과 실제 업무 하나를 안정적으로 끝내는 것 사이에 아직 꽤 넓은 갭이 남아 있다는 게 보이죠.

대체 왜 이렇게 똑똑한 모델들도 여기서는 맥을 못 출까?

문득 대체 뭐가 문제길래 GPT-5.5나 Fable 같은 SOTA, state-of-the-art 모델들도 Last-Exam에서는 대부분의 task를 끝내지 못하는지 그 이유가 너무나 궁금해졌습니다.

처음에는 GUI error가 꽤 큰 문제일 거라고 생각했는데요.

아직 마우스를 엉뚱한 데 클릭하나?

그런데 실제 GUI failure가 차지한 비중은 4%였습니다.

가장 큰 실패 원인은 Approach였습니다. 전체의 47%였죠.

Wrong Strategy가 30%, 일을 끝내지 못하고 중단한 경우가 17%였습니다.

Understanding 문제도 31%나 됐습니다. Domain Knowledge Gap이 25%, hallucination이나 fabrication이 6%였고요.

Output format error나 implementation bug 같은 Execution 문제는 22%였습니다.

AI가 버튼을 못 찾아서 일을 망친 경우보다, 뭘 해야 하는지 제대로 이해하지 못했거나 일을 푸는 방법을 잘못 잡아서 실패한 경우가 훨씬 많았던 거죠.

여기까지 읽고 저는 문득 이런 생각이 들었습니다.

Model의 실행 환경을 더 잘 만들면 해결되지 않을까? 삐까뻔쩍한 사무실에서 일하면 괜히 집중이 더 잘 되듯이 좋은 책상과 비싼 의자를 주면 더 잘 일할 수 있지 않을까?

Agent를 아주 단순화하면 foundation model이 하나 있고, 그 모델이 실제로 일을 할 수 있도록 실행 환경이 둘러싸고 있다고 생각할 수 있습니다.

Tool을 어떻게 사용할지, environment와 어떻게 상호작용할지, 여러 단계를 어떻게 계획할지, 작업을 어떤 순서로 orchestration할지 같은 것들이 여기에 들어가죠.

ALE 연구진이 같은 OpenClaw 실행 환경에서 foundation model만 바꿨을 때 pass rate는 최대 16.8 percentage points까지 벌어졌습니다.

반대로 model을 고정하고 실행 환경을 바꿨을 때는 4.9에서 7.2 points 차이가 났습니다.

이 실험에서는 model 선택에서 나타난 격차가 실행 환경에서 나타난 격차보다 약 3배 컸던 셈입니다. 연구진 역시 reasoning과 domain knowledge를 중요한 bottleneck으로 지목하죠.

좋은 책상과 비싼 의자가 업무 능력을 해결해주지 않는다는 꽤 불편한 결론입니다.

ALE는 이미 AI 업계의 주요 흐름을 만들어가고 있습니다

여기서 benchmark가 또 재미있어집니다.

ALE 논문은 benchmark가 research attention과 engineering target을 만들어낸다고 설명합니다. 저도 요즘 benchmark를 AI의 미래형 job description처럼 보는 편인데요.

새 시험에 어떤 과목이 들어가는지를 보면, AI 업계가 다음 세대 model에게 어떤 일을 맡기고 싶은지도 슬쩍 보입니다.

1. OpenAI: end-to-end work

지난 7월 GPT-5.6 발표에서 제가 가장 눈여겨본 것도 ALE였습니다.

GPT-5.6 Sol은 55개 분야의 long-running professional workflow를 평가하는 Agents’ Last Exam에서 53.6을 기록했습니다.

OpenAI는 동시에 “more useful work from every token”을 강조했는데요. Medium reasoning에서는 Claude Fable 5보다 높은 ALE 성능을 내면서 estimated cost는 약 4분의 1 수준이라고 밝혔습니다.

저는 53.6이라는 점수 자체보다 ALE가 flagship model의 대표 성적표에 올라왔다는 점이 더 흥미로웠습니다.

이제 model 경쟁에서 긴 professional workflow를 얼마나 잘 끝내는지, 그리고 그 일을 얼마나 효율적으로 수행하는지가 중요한 capability가 되고 있는 거죠.

출력 토큰 지연 시간 API 비용

2. Google: Intelligence의 ‘손기술’에 주목하다

Google DeepMind의 Gemini benchmark table도 비슷한 방향을 보여줍니다.

DeepSWE에서는 실제 codebase 안에서 긴 software engineering task를 수행합니다.

Terminal-Bench에서는 terminal을 직접 사용해 multi-step task를 끝내고, OSWorld에서는 browser와 desktop application을 조작하죠.

각각 따로 보면 서로 다른 시험처럼 보이는데요.

이 세 가지를 한데 놓으면 Google이 그리고 있는 AI의 모습이 꽤 선명해집니다.

실제 software 안에서 오래 일하고, tool과 computer를 직접 움직이면서 작업을 이어가는 agent죠.

Google이 Gemini에서 “frontier intelligence with action”을 강조하는 이유도 꽤 직관적으로 느껴집니다.

3. Anthropic: 오래 일하게 하기 위해 ‘Context’ 관리 중

Agent가 몇 분을 넘어 몇 시간씩 일하기 시작하면 또 다른 문제가 생깁니다.

Context가 정말 빠르게 쌓이거든요.

처음 받은 instruction이 있고, 열어본 file이 있고, 수십 번의 tool result가 들어옵니다. 앞에서 내린 decision도 있고 중간에 바꾼 decision도 있죠.

Anthropic은 그래서 context engineering을 중요한 engineering problem으로 다룹니다.

Agent가 무엇을 계속 기억해야 하는지, 무엇을 압축해도 되는지, 어떤 정보는 필요할 때 다시 가져오면 되는지를 설계하는 겁니다.

조금 더 구체적으로는 system instruction, tools, documents, external data, message history처럼 계속 쌓이는 정보 중에서 지금 이 순간 모델이 판단하는 데 필요한 context만 골라 다시 구성합니다.

무조건 많이 넣는다고 좋아지는 건 아닙니다. Context가 길어질수록 오히려 중요한 정보에 대한 attention이 흐려질 수 있기 때문이죠.

Anthropic이 말하는 핵심은 결국 “가장 큰 context”보다 “가장 relevant한 context”에 가깝습니다.

생각해보면 사람이 회사에서 일하는 방식과도 꽤 비슷합니다.

우리가 모든 email과 모든 회의 내용을 통째로 외우고 다니지는 않죠. 중요한 decision은 기억하고, 세부 내용이 필요하면 예전 email이나 document를 다시 찾아봅니다.

언젠가는 AI도 ‘최종_최최종_진짜최최최최종_v7’ 파일을 찾게 될까요.

Task horizon이 길어질수록 “context window가 얼마나 큰가?”만큼이나 “지금 무엇을 기억하고 있어야 하는가?”가 중요해지는 이유입니다.

Context Engineering도 agent가 오래 일하기 시작할수록 훨씬 중요해지는 흐름 중 하나라, 언젠가 별도의 칼럼 주제로 한번 다뤄보도록 하겠습니다.

통신사 AI를 만들면서 이 문제를 고민해본 적이 있습니다

생각해보면 저도 통신사에서 domain-specific LLM과 customer-care AI를 만들면서 이 문제를 꽤 깊게 고민했습니다.

특히 4개 대륙의 통신사들이 함께 통신 특화 언어모델과 AI platform을 개발하면서 한 가지를 분명하게 배웠습니다.

Domain expertise는 그 산업의 데이터를 많이 학습시키는 것만으로 만들어지지 않는다는 점입니다.

고객이 이렇게 말한다고 해보겠습니다.

“로밍이 안 돼요.”

문장 자체는 아주 쉽습니다. 하지만 실제로 문제를 해결하려면 훨씬 많은 맥락이 필요합니다.

고객이 어느 국가에 있는지, 어떤 요금제를 사용하는지, 현지 partner network에 제대로 연결되어 있는지, 어떤 device를 쓰는지 확인해야 합니다. 이전에 어떤 troubleshooting을 해봤는지, 지금 공항에 막 도착해 즉시 연결이 필요한 상황인지에 따라서도 다음 action은 달라지죠.

그래서 저희는 이런 domain의 맥락을 AI가 이해할 수 있도록 실제 업무 구조를 나눠서 가르쳤습니다.

예를 들어 먼저 고객의 요청을 roaming issue로 분류합니다. 그다음 현재 국가, 가입 요금제, device, partner network 연결 상태처럼 판단에 필요한 정보를 확인하고, 그 결과에 따라 troubleshooting을 할지, policy를 안내할지, escalation이 필요한지 다음 workflow가 달라지도록 구조화했습니다.

이렇듯 Domain expertise는 ‘무엇을 아는가’에서 끝나지 않습니다. 지금 이 상황에서 어떤 정보를 확인해야 하는지, 무엇이 decision을 바꾸는지, 그리고 그다음 무엇을 해야 하는지까지 모델을 학습시켜야 실제 업무를 수행할 수 있습니다.

이 상황적 맥락을 파악하는 것이 생각보다 훨씬 큰 격차라는 점에서, ALE에서 domain knowledge와 strategy가 주요 failure mode로 나타난 것이 저에게는 매우 익숙하게 느껴졌습니다.

My Read

이 글을 쓰면서 제가 가장 흥미롭게 느낀 건, AI를 평가하는 방식이 점점 사람을 일터에서 평가하는 방식과 닮아가고 있다는 점입니다.

회사에서는 누가 더 많은 팩트를 외우고 있는지로 일을 잘한다고 평가하지 않죠.

상황을 제대로 이해하는지, 수많은 정보 중 무엇이 중요한지 골라내는지, 적절한 tool을 쓰는지, 일이 꼬였을 때 방향을 수정하는지, 그리고 결국 쓸 만한 결과물을 가져오는지를 봅니다.

ALE를 보고 있으면 AI도 이제 비슷한 평가를 받기 시작한 것 같습니다.

Agent에 더 많은 tool을 붙이고 실행 환경을 고도화할수록 model의 한계가 덜 중요해질 것 같았는데, ALE에서는 오히려 reasoning, strategy, domain knowledge 같은 본질적인 문제가 다시 튀어나왔습니다.

결국 tool을 사용할 수 있다는 것과 언제, 왜, 어떻게 써야 하는지를 아는 것 사이에는 여전히 큰 간격이 있는 거죠.

아마 앞으로 model capability를 볼 때도 저는 이 지점을 계속 보게 될 것 같습니다.

얼마나 많은 문제를 맞히는가보다, 긴 시간 동안 context를 놓치지 않고 판단을 이어가며 하나의 일을 얼마나 안정적으로 완결할 수 있는가.

실제 기업에서 agent를 활용하려면 reliability와 cost에 더해, 그 산업과 회사의 일을 얼마나 깊이 이해하는지도 중요한 변수가 될 겁니다.

그리고 여기서 다음 질문이 생깁니다.

이렇게 중요한 domain expertise를 AI에게는 도대체 어떻게 쌓아줘야 할까요?

Fine-tuning을 해야 할까요? RAG로 기업의 지식을 가져오면 될까요? Context와 memory에는 무엇을 넣고, workflow 자체는 어떻게 가르쳐야 할까요?

더 어려운 건 전문가의 머릿속에만 있는 tacit knowledge입니다.

“이 상황에서는 일단 이것부터 봐야 해.”
“이 숫자가 이상하면 저쪽부터 의심해봐.”
“규정은 이렇지만 실제로는 이 순서가 더 빨라.”

기업의 데이터를 AI에게 연결하는 것과, 그 기업이 실제로 일하는 방식을 AI에게 가르치는 것은 꽤 다른 문제입니다.

다음 글에서는 실제 domain-specific AI 사례들을 통해 AI가 산업의 전문성과 업무 방식을 어떻게 배울 수 있는지 살펴보려고 합니다. Fine-tuning, RAG, context, memory, workflow가 각각 어디에서 역할을 하는지, 그리고 문서에 남아 있지 않은 tacit knowledge까지 어떻게 다룰 수 있는지도 함께 파고들어 보겠습니다.

Stay tuned! 😉