AI 熵減工程

AI 熵減工程 — LLM 是熵源，使用方法是熵減。

AI 熵減工程是所有讓 LLM 動起來的設計的總稱，從 prompt、context、agent 到 harness 都是在收窄預測的可能性、降低回答的不確定性，只是影響範圍的大小不同。這是因為 LLM 運作在天然高熵的語言介質上，而 AI 應用的核心工程，就是透過結構化輸入與外部知識來執行熵減，以降低不確定性、提升輸出品質。

學者的雙手正在校準一個渾天儀的銅環，背後一團黑色擾動的雲霧正在凝聚成渾天儀本身那精準的幾何秩序。黑色雲霧是 LLM 的本來狀態，一個天然高熵的字串生成器，知道一切可能、但每一個可能都同時存在。銅環是熵減的層級，從 prompt、context、agent 到 harness 一圈一圈往外收緊，每一層都壓縮一次條件熵。雙手代表外部做功，秩序不會自己出現，是人類施加結構才有的結果。渾天儀本身是一個有限可知的宇宙模型，被工程約束過的 LLM 也是一樣，不再是無邊界的語言空間，而是一具可預期的工具。

為什麼 LLM 可被視為「熵」

從資訊論角度，熵衡量的是「不確定性」與「混亂程度」。自然語言本身就是高熵訊號，同一個問題可以有一百種合理但品質參差的回答。LLM 作為基於機率分布生成 token 的模型，其輸出空間極大，未經約束時本質上處於高熵態，容易產生幻覺或無關內容。

使用方法為何就是「熵減」

熵增定律指出，在封閉或是孤立的系統中，混亂自然增加（即熵增）；若要逆轉混亂，恢復有序，必須從外部輸入資訊與結構。而你對 LLM 做的每一件事，幾乎都是在做這種「外部做功」：

  • 提示工程 / 上下文工程
    • 透過精確描述、角色設定與範例，縮小模型可輸出的合理範圍，也就是在降低條件熵。
  • RAG 與知識庫檢索
    • 不讓模型只靠內部高權重的模糊記憶回答，而是即時注入經過篩選的外部低熵事實，直接壓縮不確定性。
  • 結構化輸出與格式約束
    • JSON 模式、函數呼叫、嚴格模板，都是把無邊界的語言空間壓縮成有秩序的低熵輸出。

換句話說，LLM 的「聰明」其實來自於它內化了人類語言的龐大統計規律；但它「不準」的時候，正是因為這個機率空間太自由。你的使用方法無論是寫提示詞、做 RAG、還是建立結構化上下文 — 本質上都是在用外部資訊與規則來壓縮熵。

訊息增益的基礎是熵

混亂程度減少(熵減)的幅度越大,「訊息增益就越大」

Information entropy H(X): the LLM's original state H(X) ─ Information Entropy The LLM's original state Candidate token probabilities spread out "What is the next string?" Conditional entropy H(X|Y): residual entropy after condition Y H(X|Y) ─ Conditional Entropy Residual entropy after condition Y Y Y Y Y Y Y Entropy-reduction engineering injects Y prompt · context · agent · harness Information gain I(X;Y): the result of entropy reduction I(X;Y) ─ Information Gain Result of entropy reduction · uncertainty → zero Probability concentrates on a few candidates "The next string is X."
訊息熵　−　剩餘熵　=　訊息增益
H(X) − H(X|Y) = I(X;Y)

LLM 本身是一個高訊息熵的字串生成器，它知道一切可能的字串，但每一個答案都有可能發生。所有讓 LLM 動起來、能完成任何事情的工程都是熵減：prompt 注入是熵減、context 設計是熵減、agent 規劃是熵減、harness 搭建是熵減，只是影響範圍的大小不同。熵減工程的目的是消除不確定，而多餘的錯誤雜訊不會讓 LLM 更精確，只會讓它更肯定地答錯。

從 Prompt 到 Harness Engineering

熵減工程的四次躍遷

AI 熵減工程的演進，是一場持久戰，對抗的是語言的不確定性。從 Prompt 開始作為最早的熵減手段出現，以精確指令收窄模型的輸出空間；到了 2023 至 2024 年，新興的 Agent 架構試圖讓 AI 自主行動，把單次生成接成迴圈，但這也讓熵在一步步迭代中累積，最終徹底失控。

撞牆之後才發現，少的是 Context 這塊基礎建設：在每一步重新注入結構化的知識與目標，讓模型開口前先有根據。但把每一步餵準，還不等於整個系統能夠持續推進。進入 2026，Harness 的概念確立，將前三者系統化整合，把降熵的鐵則焊進 AI 運作的系統，讓模型在自由發揮之餘，行為始終約束在安全的邊界內，不致脫韁。

Overshoot · Build base · Break out

The breakthroughs in AI entropy engineering are infrastructure forged from repeated wall-hits.

Cube Plane Line Point backfill Prompt ① Agent ② Context ③ Harness ④ time Late 2022 2023 2024 Early 2026 scope Prompt < Context < Agent < Harness emergence Prompt → Agent → Context → Harness

Agent hit a wall; Context backfilled the foundation.

相關文章

llms.txt 是一份專為 AI 閱讀設計的 sitemap，但它的局限在於只有一層，對有組織、有架構的網站不夠用。這份檔案的標準格式是網站名稱當 H1、一段摘要，底下每一列是一個 [標題](連結)：描述，指向網站裡的一個頁面。但它分不出這一列是分類頁、單一頁面、文章還是商品頁，每一列都被當成同一種東西。初衷沒有錯，目標是讓 AI 更容易地讀懂你的網站。但是問題不在描述，而是在於它把網站壓平成一層，破壞了網站原本的敘事能力與內容脈絡。

向量資料庫不是 RAG 的必要條件，它只是其中一種把資料餵給 AI 的方式。當資料本來是混亂的、缺乏清楚邊界的，向量化可以幫助模型從大量文字中猜測語意相關性，這種做法有它的價值。但如果內容本來就有秩序，問題就不再是「怎麼從混亂中硬算相關」，而是「怎麼讓 AI 先看到最重要的判讀線索」。真正有效的 RAG，不一定是先把全文切碎、壓成向量再回頭猜答案；也可以是先把內容整理成 AI 能逐層理解的路徑，先降低上下文的不確定性，再展開細節。

你以為是你在訓練 AI 讀懂網站？其實應該反過來用 AI Chatbot 訓練你的網站，因為 AI 每一次答錯，都是在告訴你哪一篇文章的標題或描述沒寫清楚，幫你檢查網站的 SEO 盲點。RAG Sitemap 捨棄黑箱向量庫，直接讀取 WordPress 裡你早已寫好的標題、分類與描述，生成純文字網站地圖給 AI。你只需要用平常做 SEO 的方式進後台修正，不需要學新工具，也不需要通靈演算法。