Meta此前已经公布了新一代Llama 3大语言模型，在公布后不久，英特尔就第一 工夫优化并验证了80亿和700亿参数的Llama 3模型在英特尔AI产品组合上的运行状况 。在客户端领域，测试表明凭借英特尔锐炫显卡的 壮大性能，开发者 能够轻松在当地运行Llama 3模型，为生成式AI工作负载提供加快 。

此外，英特尔酷睿Ultra H系列 解决器 展示出了高于一般人浏览速度的输 诞生成性能，而这一 后果重要得益于其内置的英特尔锐炫GPU，该GPU 存在8个Xe核心，以及DP4a AI加快器和高达120 GB/s的系统内存带宽 。

英特尔酷睿Ultra 解决器和英特尔锐炫显卡在Llama 3模型公布的第一 工夫便提供了良好适配，这彰显了英特尔和Meta携手为当地AI开发和数百万 设施的部署所作出的 奋力 。英特尔客户端硬件性能的大幅 晋升得益于用于当地研发的PyTorch和英特尔PyTorch 扩充包等 丰盛的软件框架与工具，以及用于模型部署和推理的OpenVINO工具包 。

而依据具体的测试样例来看，在 使用IPEX-LLM库运行70亿参数的Mistral模型时，锐炫A770 16GB显卡每秒 能够 解决70个token(TPS)，比 使用CUDA的GeForce RTX 4060 8GB的TPS高出70% 。英特尔内部测试表明，锐炫A770 16GB显卡在运行大模型时 能够提供卓越的性能 。相比RTX 4060，锐炫A770 16GB显卡在运行大多数模型时具备极有竞争力或率先的性能，这也使其成为在当地运行大语言模型的更优 取舍 。

免责声明：凡标注转载/编译字样内容并非本站原创，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。