Product Development

建置自己的ChatGPT原來這麼簡單!LLM REST APIs and a simple web front end with llama.cpp

我們花了大量的時間和精力,在本地成功地啟動了Llama 3。最令人開心的是,這不僅可以降低成本,還能夠客製化地應用於我們自己的商業邏輯中。經過本地測試開發的完成,接下來我們將把服務部署到伺服器上。而Llama.cpp提供了開箱即用的HTTP server,這篇文章將介紹如何與其進行串接,以便為即將上線的服務做好準備。

建置自己的ChatGPT原來這麼簡單!LLM REST APIs and a simple web front end with llama.cpp 閱讀全文 »

不用find-tune也能保證Llama 2不亂說話!善用“Grammar”客製化輸出內容

LLM(Large Language Module)最讓人詬病的問題之一是「亂說話」,得到不是預期的回應。本篇文章介紹如何利用文法(Grammar)規則限縮Llama 2的生成內容,讓輸出維持在可控範圍同時保留LLM發揮創意、生成內容的優勢。

不用find-tune也能保證Llama 2不亂說話!善用“Grammar”客製化輸出內容 閱讀全文 »

開源的Llama 2有哪些玩法?本篇文章介紹開發者與Llama 2的互動方式

以上就是目前搭配llama.cpp支援的模式,我認為已足夠強大到可以實作自己的商業邏輯進去,並且加以應用。重啟對話與GBNF都非常實用,目前我也還在摸索並用想要實現的邏輯試試效果,下一篇文章來仔細介紹如何使用GBNF客製化輸出格式。

開源的Llama 2有哪些玩法?本篇文章介紹開發者與Llama 2的互動方式 閱讀全文 »