1月20日消息，據報道，OpenAI發布事故報告指出，當前遭遇GPT-4o和4o-mini模型性能下降問題，目前正在進行調查，并將盡快發布最新消息。

近期，科研人員創新性地推出了一項名為LONGPROC的基準測試工具，該工具專為評估模型在處理長上下文中的復雜信息并生成相應回復的能力而設計。

實驗結果略顯意外：包括GPT-4o在內的眾多頂尖模型，雖然在常規長上下文回憶基準測試中表現優異，但在應對復雜的長文本生成任務時，仍暴露出顯著的改進需求。

具體而言，盡管所有參測模型均宣稱其上下文窗口大小超過32K tokens，但實際情況卻大相徑庭。開源模型在處理僅含2K tokens的任務時便顯露疲態，而諸如GPT-4o等閉源模型，在應對8K tokens任務時性能也明顯下滑。

以GPT-4o為例，在要求其生成詳細旅行規劃的任務中，即便提供了明確的時間節點和直飛航班信息，模型的輸出結果中仍出現了不存在的航班信息，即產生了“幻覺”現象。

實驗進一步揭示，即便是最前沿的模型，在生成連貫且冗長的內容方面仍存在較大提升空間。特別是在需要輸出8k tokens的任務中，即便是參數龐大的先進模型也未能幸免于難，這或許預示著未來大型語言模型（LLM）研究的一個極具潛力的方向。