奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快
12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。
这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
(责任编辑:娱乐)
-
吉利控股李书福新年致辞:不简单打价格战 旗帜鲜明地反对内卷式恶性竞争
12月31日消息,今天上午,吉利控股集团董事长李书福发表了以《穿越周期稳健笃行》为主题的2025年新年致辞。在致辞中,他表示,总结过去一年,吉利管理层集体共创的《台州宣言》,这是根据世界形势的变化及行 ...[详细] -
[流言板]曼联近7位主帅前10场积分:索帅最高,阿莫林范加尔13分最低
[流言板]曼联近7位主帅前10场积分:索帅最高,阿莫林范加尔13分最低由足球资讯发表在国际足球资讯 48212月31日讯 德转网站统计了曼联近近7位主帅前10场积分,其中索尔斯克亚28分最高,阿莫林、 ...[详细] -
遭17岁亚马尔反超!姆巴佩身价跌2000万至1.6亿欧,跌至足坛第5
12月27日讯 今日德国转会市场更新西甲球员身价,其中姆巴佩身价下跌2000万欧,至1.6亿欧。姆巴佩的身价也遭到此次上涨至1.8亿欧的亚马尔反超,跌至足坛第5。这也是姆巴佩2年来首次身价出现下跌。【 ...[详细] -
12月30日讯 利物浦5-0大胜西汉姆联赛后,利物浦名宿杰米-雷德克纳普接受了媒体的采访,评价了萨拉赫的表现。杰米-雷德克纳普表示:“很难列举出比萨拉赫更出色的球员,他是如此的令人难以置信。这场比赛的 ...[详细]
-
腾讯音乐集团终审再再被判侵权!赔偿音著协经济损失共计近22万元
12月31日消息,今日,中国音乐著作权协会发文称,腾讯音乐集团终审再再被判侵权。中国音乐著作权协会表示,作为一家市场占有率据垄断地位且拥有四大在线音乐平台QQ音乐、酷狗音乐、酷我音乐和全民K歌)的超大 ...[详细] -
12月29日消息,生成式人工智能Gen AI)技术智能手机行业中的应用成为热门话题。Counterpoint Research针对美国、加拿大、英国、法国、德国、波兰和日本等七国进行了一项关于Gen ...[详细]
-
12月29日讯 葡超联赛第16轮,波尔图4-0击败博阿维斯塔,被阿森纳外租至波尔图的法比奥-维埃拉缺席了本场大名单,名记罗马诺表示他因技术原因落选。不过据葡媒“maisfutebol”透露,维埃拉落选 ...[详细]
-
12月29日消息,据“国家电网”官微发文,我国首个高海拔特高压交流工程、西南地区首个特高压交流输电工程——国家电网川渝1000千伏特高压工程投运。工程投 ...[详细]
-
韩国客机失事最惨一幕引网友泪奔:1家9口空难离世 家中仅剩1条狗
12月31日消息,当地时间12月29日,一架韩国济州航空7C2216航班的客机在位于韩国全罗南道的务安机场着陆时,偏离跑道后撞上机场围墙。除2人获救外,机上其余179人全部遇难,这是在韩国国内发生的伤 ...[详细] -
德转为2024俱乐部表现评级:皇马等4队第一档,城仁低于预期
12月29日讯 2024年临近尾声,《转会市场》也为多家顶级俱乐部的2024年表现进行了分档评级。伟大:皇马、利物浦、国米、勒沃库森符合预期:阿森纳、巴黎、马竞还行:切尔西、巴萨、尤文、多特、那不勒斯 ...[详细]