我們花了大量的時間和精力，在本地成功地啟動了Llama 3。最令人開心的是，這不僅可以降低成本，還能夠客製化地應用於我們自己的商業邏輯中。經過本地測試開發的完成，接下來我們將把服務部署到伺服器上。而Llama.cpp提供了開箱即用的HTTP server，這篇文章將介紹如何與其進行串接，以便為即將上線的服務做好準備。
建置自己的ChatGPT原來這麼簡單！LLM REST APIs and a simple web front end with llama.cpp 閱讀全文 »
Llama 3很強大，但如果無法運用它的強大，那麼都跟我們無關。身為開發者，我們如何用在自己的應用上呢？ 本篇
零成本！本機LLM打造個人化RAG應用，Llama 3🦙🦙🦙 + LangChain🦜🔗 閱讀全文 »
LLM（Large Language Module）最讓人詬病的問題之一是「亂說話」，得到不是預期的回應。本篇文章介紹如何利用文法（Grammar）規則限縮Llama 2的生成內容，讓輸出維持在可控範圍同時保留LLM發揮創意、生成內容的優勢。
不用find-tune也能保證Llama 2不亂說話！善用“Grammar”客製化輸出內容 閱讀全文 »
以上就是目前搭配llama.cpp支援的模式，我認為已足夠強大到可以實作自己的商業邏輯進去，並且加以應用。重啟對話與GBNF都非常實用，目前我也還在摸索並用想要實現的邏輯試試效果，下一篇文章來仔細介紹如何使用GBNF客製化輸出格式。
開源的Llama 2有哪些玩法？本篇文章介紹開發者與Llama 2的互動方式 閱讀全文 »