本篇文章主要講解,通過LM Studio工具實(shí)現(xiàn)各類型AI模型本地部署的操作方法方式。
作者:任聰聰
日期:2025年1月29日
LM Studio是一款能夠本地離線運(yùn)行各類型大語言模型的客戶端應(yīng)用,通過LM Studio 可以快速搜索所需的llms類型的開源大語言模型,并進(jìn)行運(yùn)行。
通過使用LM Studio 在本地運(yùn)行大語言模型可以更加快速的運(yùn)行流暢的提問,并在獨(dú)立的環(huán)境中保障數(shù)據(jù)不被監(jiān)聽和收集。
特點(diǎn):本地、獨(dú)立、離線
官網(wǎng):https://lmstudio.ai/
硬件要求是硬性的如果不滿足是無法運(yùn)行模型的!!!!
GPU顯卡 GTX3060TI 及以上顯存8GB以上
CPU 頻率子3.3GHZ以上即可
硬盤 250gb及以上空間大小
如果不滿足的話則無法運(yùn)行模型,或模型運(yùn)行及其卡頓。
此處選擇僅為我安裝,并點(diǎn)擊下一步進(jìn)入到如下界面:
此處如果對安裝文件目錄有要求可以進(jìn)行如下的設(shè)置變化,通過點(diǎn)擊瀏覽進(jìn)行:
選擇目錄后,點(diǎn)擊安裝即可進(jìn)入到安裝環(huán)節(jié):
等待完畢后,點(diǎn)擊下一步即可完成安裝,安裝后桌面會顯示如下圖標(biāo):
選中一個模型,這里默認(rèn)可以選擇LLM模型,但是也可以點(diǎn)擊如下圖的 跳過菜單進(jìn)行跳過:
跳過后即可進(jìn)入到步驟二環(huán)節(jié)。
搜索我們的DeepSeek模型,如下圖:
點(diǎn)擊search more …進(jìn)入到檢索界面,檢索的信息中按照下圖形式選中并點(diǎn)擊下載即可:
等待下載完成…
點(diǎn)擊模型,彈出配置參數(shù)表單,可以根據(jù)自己的電腦性能進(jìn)行選擇(性能越高,速度越快):
確認(rèn)無誤后,點(diǎn)擊load Model即可,對于model的管理可以點(diǎn)擊左側(cè)的model的菜單加載進(jìn)入:
可以看到已經(jīng)在正常運(yùn)行輸出,筆者的電腦配置較低,所以回復(fù)情況等待較久,配置越高的電腦,速度越快,效果越好。
這是由于配置過低沒有成功預(yù)加載導(dǎo)致,這個問題只能嘗試換一個配置更高的電腦。
說明:通過搜索model庫當(dāng)中的模型,與我們上文中安裝deepseek模型的操作方式一樣,如下則是其他開源大語言模型的安裝操作。
下載完畢后再chat界面的頂部,選擇這個模型即可:
轉(zhuǎn)載請注明來自浙江中液機(jī)械設(shè)備有限公司 ,本文標(biāo)題:《LM Studio 本地部署DeepSeek及其他AI模型的詳細(xì)操作教程及硬件要求》
還沒有評論,來說兩句吧...