AI 熵減工程

AI 熵減工程 — LLM 是熵源，使用方法是熵減。

AI 熵減工程是所有讓 LLM 動起來的設計的總稱，從 prompt、context、agent 到 harness 都是在收窄預測的可能性、降低回答的不確定性，只是影響範圍的大小不同。這是因為 LLM 運作在天然高熵的語言介質上，而 AI 應用的核心工程，就是透過結構化輸入與外部知識來執行熵減，以降低不確定性、提升輸出品質。

為什麼 LLM 可被視為「熵」

從資訊論角度，熵衡量的是「不確定性」與「混亂程度」。自然語言本身就是高熵訊號，同一個問題可以有一百種合理但品質參差的回答。LLM 作為基於機率分布生成 token 的模型，其輸出空間極大，未經約束時本質上處於高熵態，容易產生幻覺或無關內容。

使用方法為何就是「熵減」

熵增定律指出，在封閉或是孤立的系統中，混亂自然增加（即熵增）；若要逆轉混亂，恢復有序，必須從外部輸入資訊與結構。而你對 LLM 做的每一件事，幾乎都是在做這種「外部做功」：

  • 提示工程 / 上下文工程
    • 透過精確描述、角色設定與範例，縮小模型可輸出的合理範圍，也就是在降低條件熵。
  • RAG 與知識庫檢索
    • 不讓模型只靠內部高權重的模糊記憶回答，而是即時注入經過篩選的外部低熵事實，直接壓縮不確定性。
  • 結構化輸出與格式約束
    • JSON 模式、函數呼叫、嚴格模板，都是把無邊界的語言空間壓縮成有秩序的低熵輸出。

換句話說，LLM 的「聰明」其實來自於它內化了人類語言的龐大統計規律；但它「不準」的時候，正是因為這個機率空間太自由。你的使用方法無論是寫提示詞、做 RAG、還是建立結構化上下文 — 本質上都是在用外部資訊與規則來壓縮熵。

訊息增益的基礎是熵

混亂程度減少(熵減)的幅度越大,「訊息增益就越大」

訊息熵 H(X):LLM 原始的狀態 H(X) ─ 訊息熵 LLM 原始的狀態 候選 token 機率較分散 「下一個字串是什麼?」 條件熵 H(X|Y):給定條件 Y 後的剩餘熵 H(X|Y) ─ 條件熵 給定條件 Y 後的剩餘熵 Y Y Y Y Y Y 熵減工程注入 Y prompt · context · agent · harness 訊息增益 I(X;Y):熵減的成果 I(X;Y) ─ 訊息增益 熵減的成果 · 不確定性趨近於零 機率集中於少數候選 「下一個字串是 X。」
訊息熵　−　剩餘熵　=　訊息增益
H(X) − H(X|Y) = I(X;Y)

LLM 本身是一個高訊息熵的字串生成器，它知道一切可能的字串，但每一個答案都有可能發生。所有讓 LLM 動起來、能完成任何事情的工程都是熵減：prompt 注入是熵減、context 設計是熵減、agent 規劃是熵減、harness 搭建是熵減。熵減工程的目的是消除不確定，而多餘的錯誤雜訊不會讓 LLM 更精確，只會讓它更肯定地答錯。

從 Prompt 到 Harness Engineering

熵減工程的四次躍遷

AI 熵減工程的演進，是一場持久戰，對抗的是語言的不確定性。從 Prompt 開始作為最早的熵減手段出現，以精確指令收窄模型的輸出空間；到了 2023 至 2024 年，新興的 Agent 架構試圖讓 AI 自主行動，把單次生成接成迴圈，但這也讓熵在一步步迭代中累積，最終徹底失控。

撞牆之後才發現，少的是 Context 這塊基礎建設：在每一步重新注入結構化的知識與目標，讓模型開口前先有根據。但把每一步餵準，還不等於整個系統能夠持續推進。進入 2026，Harness 的概念確立，將前三者系統化整合，把降熵的鐵則焊進 AI 運作的系統，讓模型在自由發揮之餘，行為始終約束在安全的邊界內，不致脫韁。

Overshoot · Build base · Break out

The breakthroughs in AI entropy engineering are infrastructure forged from repeated wall-hits.

Cube Plane Line Point backfill Prompt ① Agent ② Context ③ Harness ④ time Late 2022 2023 2024 Early 2026 scope Prompt < Context < Agent < Harness emergence Prompt → Agent → Context → Harness

Agent hit a wall; Context backfilled the foundation.

相關文章

你以為 RAG 是訓練 AI Chatbot 讀懂網站？其實是在反向校準你的網站 SEO 體質。RAG Sitemap 捨棄黑箱向量庫，直接讀取 WordPress 裡面，你早已寫好的標題、分類與描述，生成 TXT 網站地圖給 AI。當 AI 找不到答案時，問題往往就出在某篇文章的標題、摘要或分類歸屬上，你只需要用平常做 SEO 的方式進後台修正，不需要學新工具，也不需要通靈演算法。

小模型 Llama 3.2 3B，是一個僅有 3B 參數，小到不能再小的語言模型。你問它問題，它只能根據 3B 的訓練資料回答你。它不知道你的網站寫了什麼，不知道你發了哪篇文章，對你近期累積的內容一無所知。用它來跑網頁問答，原本是天方夜譚。

向量資料庫不是 RAG 的必要條件，它只是其中一種把資料餵給 AI 的方式。當資料本來是混亂的、缺乏清楚邊界的，向量化可以幫助模型從大量文字中猜測語意相關性，這種做法有它的價值。但如果內容本來就有秩序，問題就不再是「怎麼從混亂中硬算相關」，而是「怎麼讓 AI 先看到最重要的判讀線索」。真正有效的 RAG，不一定是先把全文切碎、壓成向量再回頭猜答案；也可以是先把內容整理成 AI 能逐層理解的路徑，先降低上下文的不確定性，再展開細節。