科技工具

A useful tool about network conneting. You may want to have if you travel around the world. 4k High quility, technical style. Without any text on it. white background with stock technical chart.

上網IP被擋怎麼辦?🛜教你十分鐘在伺服器上免費自架VPN

上網的時候,有時我們會遇到IP被擋而無法存取國外網站。此外,某些線上訂閱服務在海外地區的售價,可能比較便宜。在這種情況下就是VPN派上用場的時候了。然而,如今VPN的選擇多種多樣,網路上可以輕易搜尋到免費與付費版本的VPN。

免費VPN在使用和安全方面可能存在一些限制。例如,我們不知道在使用免費伺服器時個人資料是否會受到竊取。因此,若有資安疑慮則盡可能避免使用免費VPN。

上網IP被擋怎麼辦?🛜教你十分鐘在伺服器上免費自架VPN 閱讀全文 »

LLM Prompt Engineer Guide

九成的人都不懂得如何有效與AI對話!提示工程介紹

LLM的訓練過程是通過自然語言進行的,不需要像過去的機器學習模型那樣進行訓練或調整。這一變革產生了大量的創新,並引發了技術部署方式的轉變。利用自然語言編程語言模型來完成任務的科學和藝術被稱為「提示工程」(Prompt Engineering)。

九成的人都不懂得如何有效與AI對話!提示工程介紹 閱讀全文 »

LLM REST APIs with a simple front end

建置自己的ChatGPT原來這麼簡單!LLM REST APIs and a simple web front end with llama.cpp

我們花了大量的時間和精力,在本地成功地啟動了Llama 3。最令人開心的是,這不僅可以降低成本,還能夠客製化地應用於我們自己的商業邏輯中。經過本地測試開發的完成,接下來我們將把服務部署到伺服器上。而Llama.cpp提供了開箱即用的HTTP server,這篇文章將介紹如何與其進行串接,以便為即將上線的服務做好準備。

建置自己的ChatGPT原來這麼簡單!LLM REST APIs and a simple web front end with llama.cpp 閱讀全文 »

Powerful Box Local Install

Llama 3來了!本篇一步步教你如何在本機安裝使用

在本機安裝與前一代雷同,步驟也可參考前面發佈的文章強大的開源Llama 2到底如何為己用呢?本篇文章教你如何在本機安裝並使用Llama 2,在執行的過程中遇到不少坑,並且在網路上很難找到答案,因此想藉由文章紀錄並分享給水深火熱的開發者們,希望可以你們可以少踩一些坑。

Llama 3來了!本篇一步步教你如何在本機安裝使用 閱讀全文 »

An AI Assistant That Good To Organize Information To Specific Structure. 4k Quality Technical Style

不用find-tune也能保證Llama 2不亂說話!善用“Grammar”客製化輸出內容

LLM(Large Language Module)最讓人詬病的問題之一是「亂說話」,得到不是預期的回應。本篇文章介紹如何利用文法(Grammar)規則限縮Llama 2的生成內容,讓輸出維持在可控範圍同時保留LLM發揮創意、生成內容的優勢。

不用find-tune也能保證Llama 2不亂說話!善用“Grammar”客製化輸出內容 閱讀全文 »