在MacBookProM1上搭建Chatgpt自定义AI助手

　　Chatgpt在国内经常会遇到各种网络问题，而且一旦失去网络连接就无法使用。此外，Chatgpt是需要付费的。在2023年，GPT将迎来发展元年，我相信未来每个人都应该有自己的Chatgpt大模型，而不仅仅是大型机构才能拥有。
　　未来，对于Chatgpt大模型所需的计算能力，应该是人人都能负担得起的，就像现在的个人电脑一样。在这里，我主要讲解如何利用Facebook开源的LLAMA7B大模型和llama。cpp开源代码，在MacbookProM1上构建一个能够运行的AI助手。
　　下面我们来逐步讲解。
　　第一步：下载7B的大模型
　　使用命令行方式下载curloggmlalpaca7bq4。binChttps：gateway。estuary。techgwipfsQmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
　　或是直接使用浏览器打开，下载完成后文件改名为ggmlalpaca7bq4。bin：https：gateway。estuary。techgwipfsQmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
　　第二步：下载llama。cpp
　　llama。cpp工程是基于Facebook的llama开源项目进行改进的。它通过使用C进行推理，降低了资源需求，同时保持了高速处理的特点。
　　请使用gitclone方式下载代码，以便以后轻松更新。当前项目更新速度较快。gitclonehttps：github。comggerganovllama。cpp。git
　　第三步：编绎llama。cpp
　　进入llama。cpp，运行如下命令make
　　如果没有报错则表示编绎成功了。
　　在目录下会生成如下几个可执行文件：main、quantize。其中，main是启动会话的程序，而quantize目前不需要使用。
　　第四步：将ggmlalpaca7bq4。bin放到llama。cppmodels目录下第五步：完成一个启动脚本start。sh
　　先看看main能接受哪些参数：（base）llama。cppgit：（master）。mainhusage：。main〔options〕options：h，helpshowthishelpmessageandexiti，interactiverunininteractivemodeins，instructrunininstructionmode（usewithAlpacamodels）rPROMPT，reversepromptPROMPTininteractivemode，polluserinputuponseeingPROMPT（canbespecifiedmorethanonceformultipleprompts）。colorcoloriseoutputtodistinguishpromptanduserinputfromgenerationssSEED，seedSEEDRNGseed（default：1）tN，threadsNnumberofthreadstouseduringcomputation（default：4）pPROMPT，promptPROMPTprompttostartgenerationwith（default：empty）randompromptstartwitharandomizedprompt。fFNAME，fileFNAMEpromptfiletostartgeneration。nN，npredictNnumberoftokenstopredict（default：128）topkNtopksampling（default：40）toppNtoppsampling（default：0。9）repeatlastnNlastntokenstoconsiderforpenalize（default：64）repeatpenaltyNpenalizerepeatsequenceoftokens（default：1。3）cN，ctxsizeNsizeofthepromptcontext（default：512）ignoreeosignoreendofstreamtokenandcontinuegeneratingmemoryf16usef16insteadoff32formemorykeyvaluetempNtemperature（default：0。8）bN，batchsizeNbatchsizeforpromptprocessing（default：8）mFNAME，modelFNAMEmodelpath（default：modelsllama7Bggmlmodel。bin）
　　我们主要使用交互模式，并将可预测的令牌数设置为512，因此请按以下命令操作：。mainm。modelsggmlalpaca7bq4。bincolorinsrMe：n512
　　启动后的界面如下：
　　开始使用：
　　先提一个问题：howtoImplementingGradientAscentwithpython？
　　生成的答案如下，相比chatgpt有点简陋。
　　毕竟模型只有7B的参数，如果换到65B，应该效果会好很多。不过已经非常好了，相信未来继续优化后会更好。