AI頓悟

DeepSeek一日千里，開了眼界。想要的幫手，它都手到拿來。

DeepSeek-R1，圖像讀圖分析，深度求索，允許用戶通過蒸餾技術借助R1訓練其他模型。相信不單是助手，而是能提供思考，進行獨立分析了。

DeepSeek-R1後訓練階段大規模使用了強化學習技術，在僅需極少數據情況下，提升模型推理能力，比肩OpenAI o1正式版。

訓練過程中，觀察到一個特別有趣的現象，那就是「頓悟時刻」（Aha Moment）的出現：通過重新評估其最初的方法，為問題分配更多時間進行推理思考，在強化學習中引人入勝，導致意外和跳躍的複雜結果。

根據媒體披露，兩個對家，同樣的團隊，大部分都是同根生；大家想的和做的，如此近、那麼遠。

中華文字，識字的學習，已在進行思考和分析，同一個字，不單是Linguistic，而是對事物的參透。

口說一句話，所含的字串，都帶着大千世界的濃縮；超越了圖像，直去人們心內所想的究竟涵意。

想想這也是奇妙的連結：數十年之後，會否一笑泯恩仇？這一切爭端，又會怎樣？

想起當年的「英雄趕派克」現象，為了一支筆，鬥得精采；當年戰勝美帝的英雄100鋼筆，成為國民引以為豪的製成品，至今，仍是價高一等。英雄100比同級派克61，當年的產品現在賣貴幾十倍，值幾千元。

為了一支筆，今天看來有點可笑。筆在當年的意義，就等於電腦現在取代書寫工具，表達思想、溝通傳達。

以下是關於DeepSeek-R1的概況

我們可以將 DeepSeek-R1 部署到 SageMaker，特別是 Llama-70b 濃縮變體 DeepSeek-R1-Distill-Llama-70B 到 SageMaker 實時端點。DeepSeek-R1 是由 AI 初創公司 DeepSeek 開發的先進 LLM，它使用強化學習技術來增強其推理能力，使其能夠執行複雜任務，如數學問題解決和編碼。

DeepSeek-R1 模型現已在 Amazon Bedrock Marketplace 和 Amazon SageMaker JumpStart 上提供，並深入了解構建 DeepSeek-R1 背後的理論。

在 SageMaker AI 上的生成 AI

SageMaker AI 是一個完全管理的服務，提供一套全面的工具，旨在為多種用途提供高性能、成本效益的機器學習（ML）和生成 AI 解決方案。SageMaker AI 能夠透過一系列服務（包括筆記本、作業、托管、實驗追蹤、精選模型中心和 MLOps 功能）在統一的整合開發環境（IDE）中構建、訓練、部署、監控和管理 ML 和生成 AI 模型。

SageMaker AI 簡化了生成 AI 模型構建者的所有技能水平的流程，以便與基礎模型（FMs）一起使用：

·         Amazon SageMaker Canvas 使數據科學家能夠無縫地使用其自有數據集與 FMs 一起建立應用程式和架構模式（如聊天機器人和檢索增強生成（RAG）），在低代碼或無代碼環境中。

·         Amazon SageMaker JumpStart 提供了來自提供商（如 Hugging Face、Meta 和 Stability AI）的開放和專有 FMs 的多樣選擇。用戶可以透過直觀的用戶界面或 API 部署或微調模型，提供所有技能水平的靈活性。

·         SageMaker AI 功能（如筆記本、Amazon SageMaker Training、推理、Amazon SageMaker for MLOps 和合作夥伴 AI 應用程式）使高級模型構建者能夠使用 LoRA、完全微調或從頭開始訓練來適應 FMs。

這些服務支援從單個 GPU 到 HyperPods（GPU 集群）的訓練，並包括用於追蹤、調試和部署的內置 FMOps 工具。

以下是關於OpenAI o1的概況

OpenAI o1是一個基於轉換器的生成式預訓練模型。2024年9月12日，OpenAI發布了o1的預覽版，完整版本於2024年12月5日發布。 o1在回答問題之前會進行「思考」，使得它在處理複雜的任務、科學和編程方面比GPT-4o更優秀。

背景

據洩露的信息顯示，o1以前在OpenAI內部被稱為「Q*」，後來更名為「草莓」。代號「Q*」於2023年11月首次披露，大約是在薩姆·阿爾特曼被罷免並隨後復職的時期。據稱這個實驗模型在數學基準測試方面表現出更加理想的結果。

2024年7月，路透社報道稱OpenAI正在開發名為「草莓」的生成式預訓練模型。

發布

o1-preview和o1-mini於2024年9月12日面向ChatGPT Plus用戶和ChatGPT for Teams用戶發布。 GitHub在發布當天開始測試將o1-preview集成到Copilot服務中。 2024年12月5日，o1完整版發布。 同一天，ChatGPT Pro訂閱服務發布，該訂閱服務包括訪問o1的專業版，該版本使用更多算力來提供更好的答案。

OpenAI指出，o1是一系列「推理」模型中的第一個。o1-preview的API比GPT-4o貴好幾倍。 OpenAI計劃向免費用戶提供o1-mini版模型，但在發布時尚未公布具體時間。

2024年12月20日，OpenAI透露正在測試新版本推理模型OpenAI o3，預計將於1月底推出OpenAI o3-mini。

功能

OpenAI稱o1使用了一種新的優化算法和專門的數據集進行了訓練，同時還將強化學習融入到其訓練中。 OpenAI形容o1為GPT-4o的增強版。

OpenAI-o1在回答問題前會花更多時間思考，這使得它在處理複雜思維任務時更加有效，特別是在科學和數學方面。 與之前的模型相比，o1被訓練為可以在輸出最終答案之前生成較長的「思路鏈」。據米拉·穆拉蒂稱，這種先思考後回答的能力代表了一種新的、額外的範例，通過在生成答案前使用更多的算力來改善模型輸出，而模型擴展（model scaling paradigm）則通過增加模型大小、訓練數據和訓練算力來改進輸出。 OpenAI的測試結果表明，準確率與回答前思考所花費的計算量之間存在相關性。

o1-preview在物理、化學和生物相關的基準測試中的表現達到了博士水平。在美國數學邀請賽中，它解決了83%（12.5/15）的問題，而GPT-4o僅解決了13%（1.8/15）。它還在Codeforces編程競賽中優於89%的參賽者。 o1-mini比o1-preview更快且便宜80%，它特別適合編程和理工科相關的任務，但沒有o1-preview「廣博」。

OpenAI指出，o1的推理能力使其能更好地遵守上下文窗口中提供的安全規則。 OpenAI報告稱，在一次測試中o1-preview的一個實例利用錯誤配置成功完成了一項本無法完成的任務。OpenAI還授予美國和英國的人工智慧安全研究所早期訪問（early access）權限，以進行研究、評估和測試。根據OpenAI的評估，o1-preview和o1-mini在CBRN（生物、化學、放射和核武器）中屬於「中等風險」。人工智慧安全中心的主任丹·亨德里克斯（Dan Hendrycks）稱：「模型在回答與生物武器相關的問題時的表現在大多數時候已經超過了博士科學家」，他表示，「這些令人擔憂的能力還將繼續增強」。