返回探索

多模態的價值,在於理解同一個任務

文字、圖片和語音如何共同表達需求,以及為什麼上下文比輸入方式更重要。

表達方式不同,目標應該一致

一張參考圖可能表達視覺風格,一段語音可能補充使用場景。多模態互動的價值是將這些線索與當前任務聯繫起來,而不是分別處理後給出互不相關的回答。

連續修改需要明確的參照

在應用程式創作中,說“把這裡改一下”需要明確正在查看的版本、相關元素和使用者想保留的部分。表達更具體的修改範圍,有助於降低上下文歧義。

能力與邊界都需要可見

模型可能誤解圖片或遺漏要求。預覽、版本對比與使用者確認,是發現問題的重要環節。涉及真實業務的資料和結論仍需驗證。這篇文章介紹設計原則,不代表獨立的模型評測結果。

帶著想法,開始對話