llama.cpp

我們花了大量的時間和精力，在本地成功地啟動了Llama 3。最令人開心的是，這不僅可以降低成本，還能夠客製化地應用於我們自己的商業邏輯中。經過本地測試開發的完成，接下來我們將把服務部署到伺服器上。而Llama.cpp提供了開箱即用的HTTP server，這篇文章將介紹如何與其進行串接，以便為即將上線的服務做好準備。