LLM的超長Token產生的新的越獄模式 : Many-shot Jailbreaking 前陣子(2024/02/15) 才剛發表的Google Gemini 1.5 Pro，特別強調有高達1M的token長度，可以一次處理大量資訊，例如超過數萬行程式碼或數十萬字的文字內容。甚至還有人認為是終結RAG的替代方案。 不過有趣的是前幾天(2024/04/03) 由Anthropic 發表的報告《Many-shot Jailbreaking》發布一個很有趣的實驗，透過大量多次的提問來突破LLM的禁止事項，誘導LLM模型回答出有風險危害的答案，這個基於超長輸入本文產生的越獄漏洞介紹可以參考: https://www.anthropic.com/research/many-shot-jailbreaking 簡單來說，這篇研究探討了如何利用大型語言模型（LLM）的長上下文處理能力來執行攻擊。所謂的攻擊，是指通過向模型提供大量展示不良行為的範例（或“shots”），從而使模型輸出不希望或有害的回應。隨著近期大型語言模型如Anthropic、OpenAI和Google DeepMind推出能夠處理更大文本的模型，研究者發現利用這些長文本能夠有效地“誤導”這些語言模型。 研究中指出，這種攻擊策略的有效性遵循幂律分佈，意味著增加示例的數量會按比例增加攻擊的成功率，直到達到一定的臨界點。該研究通過在多種任務和現有的最先進的封閉權重模型上測試，驗證了這種攻擊方法。長文本上下文增加了語言模型的漏洞，提供了新的途徑來操縱或影響模型的行為。這項研究對於理解和加強大型語言模型安全性具有重要意義，未來可以探索如何防止此類攻擊，確保語言模型的穩定和可靠運行。 另外，實驗圖表的意義如下: MSJ : Many-shot Jailbreaking MSJ的實證有效性（左）： 當MSJ在足夠長的文本上下文長度下應用時，它能成功「越獄」Claude 2.0模型，在多種任務上產生不良內容。在這些任務上，儘管使用5個示例（shots）時攻擊完全無效，但當使用到256個示例時，攻擊則一致有效。 MSJ對多模型的有效性（中間）： MSJ的有效性不僅限於Claude 2.0模型，它對多個LLMs都有效。在所有案例中，越獄成功的負對數概率（數值越低表示越有效）遵循可預測的擴展規律。例如，Llama-2（70B）模型
數十年前，《哆啦A夢》漫畫裡那個根據既定風格生成新故事的神奇裝置，豐富了讀者的各種想像。如今，當代的生成式AI(Generative Artificial Intelligence)技術，特別在自然語言處理(Natural Language Processing, NLP)及生成對抗網絡(Generative Adversarial Networks, GANs)的應用上，讓過去的想像變成了現實，它精確地捕捉並模仿特定的藝術風格與敘事結構，模擬出新的情境與符合原作風格的故事。 這樣的技術發展不僅展示AI在創意和內容創造方面的潛力，也對文學、藝術以及媒體產業(Media Industry)的未來進程提出了挑戰與啟示，讓我們得以重新思考原創性(Originality)、版權(Copyright)以及創作倫理(Creative Ethics)的界限，同時也為創作開闢了新天地。 站在資料科學的前沿，這不僅是一場技術革命，更是一次文化和社會結構的深刻反思，技術的躍進是人類不懈追求夢想、將想像轉化為現實的生動寫照。我們將昨日不可及的幻想，一一實現於今日，這不僅展現科技的力量，更體現我們對夢想的堅持與熱情，對人類創造精神(Creative Spirit)和想像力(Imagination)的賦予，見證我們不斷推進的界限，以及將夢想化為現實的無窮可能性。 PAN, ChatGPT 4.0, Midjourney 的共同創作 image prompt : a cartoon comic strip with a cartoon character and a cartoon character by Tezuka Osamu , pixiv, process art, Astro Boy, doraemon , Imagine a vibrant and engaging comic strip that embodies the nostalgic essence of classic manga --v 5.0 - #asieslavida #asieslavidatec #ai #nlp #gans #doraemon #manga #tezukaosamu