本文分类：news发布日期：2024/11/3 20:08:30
相关文章
从源码分析 vllm + Ray 的分布式推理流程
一、前言
随着 LLM 模型越来越大，单 GPU 已经无法加载一个模型。以 Qwen-14B-Chat 模型为例，模型权重大概 28GB，但是单个 NVIDIA A10 仅有 24GB 显存。如果想要在 A10 上部署 Qwen-14B-Chat 模型，我们需要将模型切分后部署到 2 个…
建站知识
2024/10/26 1:30:18
Flink任务如何跑起来之 2.算子 StreamOperator
Flink任务如何跑起来之 2.算子 StreamOperator
前文介绍了Transformation创建过程，大多数情况下通过UDF完成DataStream转换中，生成的Transformation实例中，核心逻辑是封装了SimpleOperatorFactory实例。
UDF场景下，DataStream到…
建站知识
2024/10/24 12:20:39
Roboflow 图片分类打标
今天准备找个图片标注工具，在网上搜了一下，看 Yolo 的视频中都是用 Roboflow 工具去尝试了一下，标注确实挺好用的，可以先用一些图片训练一个模型，随后用模型进行智能标注。我主要是做标注然后到处到本地进行模型的训练…
建站知识
2024/10/24 12:26:55
okHttp的https请求忽略ssl证书认证
使用okhttp请求第三方https接口返回异常
sun.security.validator.ValidatorException: PKIX path building failed:
sun.security.provider.certpath.SunCertPathBuilderException:
unable to find valid certification path to requested target意思就是非安全的调用&#…
建站知识
2024/10/24 12:35:33
【Python入门与进阶】Python中从字符串中获取子串
在Python中，可以使用多种方法从字符串中获取子字符串。 以下是一些常用的方法和示例：
1. 使用切片（Slicing）
切片是获取子字符串最常用的方法。切片语法为str[start:end:step]，其中start是起始索引，end是…
建站知识
2024/10/24 12:54:24
第15天：项目结构设计
第15天：项目结构设计
项目结构简介
良好的项目结构不仅有助于代码的组织，还便于团队协作和项目的可维护性。对于Flask项目，一个清晰且模块化的结构是非常重要的。
标准Flask项目结构
一个典型的Flask项目结构可能如下所示：
/…
建站知识
2024/10/24 12:55:25
k-means聚类模型的优缺点
一、k-means聚类模型的优点 1. 简单高效：k-means算法思想简单直观，易于实现。它通过迭代计算样本点与聚类中心之间的距离，并不断调整聚类中心的位置，直至满足终止条件。由于其计算过程相对直接，所以具有较高的执行效率…
建站知识
2024/10/24 13:15:41
Java 18 的一些主要新特性
以下是 Java 18 的一些主要新特性： 简单 Web 服务器（JEP 408）： Java 18 引入了一个简单的 Web 服务器，旨在帮助开发者更方便地测试和原型化。在命令行中使用 jwebserver 命令即可启动这个 Web 服务器。主要用于快速测试…
建站知识
2024/10/24 12:58:30
