多模態的價值,在於理解同一個任務
文字、圖片和語音如何共同表達需求,以及為什麼上下文比輸入方式更重要。
表達方式不同,目標應該一致
一張參考圖可能表達視覺風格,一段語音可能補充使用場景。多模態互動的價值是將這些線索與當前任務聯繫起來,而不是分別處理後給出互不相關的回答。
連續修改需要明確的參照
在應用程式創作中,說“把這裡改一下”需要明確正在查看的版本、相關元素和使用者想保留的部分。表達更具體的修改範圍,有助於降低上下文歧義。
能力與邊界都需要可見
模型可能誤解圖片或遺漏要求。預覽、版本對比與使用者確認,是發現問題的重要環節。涉及真實業務的資料和結論仍需驗證。這篇文章介紹設計原則,不代表獨立的模型評測結果。