当前位置：首页 > news >正文

AI工程师跑路了-SpringAi来帮忙

news 2025/6/8 11:56:48

从雪山飞狐到百年孤独

百无聊赖中翻开了又一本金庸的小说《雪山飞狐》，江湖侠气，快意恩仇瞬间跃然纸上，唯有最后胡斐那一刀才让读者回到了现实。之前刚读了《明朝那些事儿》，最后重墨了李闯王，也不知道是不是世界太小了，还是巧合，《雪山飞狐》的背景就是李闯王的4大护卫家的百年爱恨情仇，翻完《雪山飞狐》，又巧合的拿起了《百年孤独》，又是百年的孤独与爱恨... 这也许就是读书的另类乐趣吧。

Ai风吹进了公司

这两年好像出了这样一个论点：不搞ai的公司，好像都抬不起头。我们也不例外，来了一个老板，来了一个Ai工程师开始捣鼓起了Ai。对公司有这样的看法，自然视乎对我们这样的程序员也有同样的看法。于是我也一咬牙，一跺脚净身来到新的团队充数。想着边打杂跑腿，边抱大腿噌点Ai知识。之前都是弄几个demo自嗨，不得劲儿，想出来看看真的Ai项目长啥样。

哪成想，新来的Ai工程师用的Go语言，看不懂。于是吭哧吭哧学习了解了下Go，配合Cusor总算是马马虎虎看明白代码了。每个月140元包月的费用总算是没白瞎了。

大腿跑了我怎么办

本以为我在这个里从一个Javaer变一个Goer，可以在简历上写上精通GO，没成想，意外来得这么突然，Ai工程师跑了，大腿没有了，似乎短时间我要摇身一变成“大腿”了。但是留给我的时间不多，只有3周，其中还包括一个5.1长假。我陷入了深深的思索中，心中多个声音不断博弈：继续在原来的go上开发，能看和能写还是不是一会事儿，不可控；用Python实现Mult Agent，会demo到会写项目中间还间隔一个筋斗云，不可控；用java实现，自己是个熟练工，但没有一个成熟的框架可以用。

辗转反侧，夜不能寐，上下求索，各种尝试，进展微乎其微，觉得我的一只脚已经在公司外了。何以解忧，百年孤独。也许是巧合吧，当时的那种心情，与无人理解老何赛的科学追求，与无人理解到老乌尔苏拉如何维持大家庭的艰辛，与无人理解奥雷里亚诺上校战后的无奈，真可谓同病相连。

显然马尔克斯是懂人性的，是懂峰终定律的，所以几乎大部分布恩迪亚家的人，无论生前如何荒诞，生命的最后一刻都顿悟了，沐浴着最朴素的亲情。所以看是阴沉的书，给人的确实温暖。骆驼祥子，或者...整本书都是阴沉，阴沉，更阴沉，所有短暂的希望只是为了演绎更多失望。看完后只有一个感觉：绝望。

一边孤独，一边尝试，一边面试（除了招人，还希望能在面试过程中有所收获），终于看到了Spring Ai，欣喜若狂，突然感觉有了一根稻草。还没有等朝阳升起，一片乌云飘过 -- Srping Ai现在还只有里程碑版本 - M6。不幸中的万幸是，乌云不可怕，只要风够大 -- release版本会在5月发布。于是开始下定决心沿着javaer的路走下去。

有Sping Ai也不容易

Sping Ai要求JDK17，Spring boot 3.x 一个简单的要求差点让人崩溃。一开始想着用现有spring boot 2.3的项目直接升级到Spring boot 3.x，毕竟Spring boot 一直以向下兼容著称，但是架不住原来项目依赖不太规范，一顿操作后，无奈放弃。最后从朋友那里弄来一个Spring boot 3项目，总算是跑起来了，但是这只是刚刚开始。

因为不是relase版本，不同版本 artifactId，包名，类名都都在变化，导致很多文章，甚至官方文档都是针对某个过去的特定版本编写的demo，这一切就如同面对马孔多南边一望无际的沼泽一般，老何赛终其一生也没能走出去，5.1长假鏖战数天，也没有完整跑起来一个dmeo。怎么都无法找到这个包。

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

秒针嘀嗒响个不停，时间如舟山的沙子从指间的飞快漏下，怎么都抓不住。漫长的煎熬下，甚至想再换个方向呢，换个思路呢，然而出门四顾心枉然，敢为路在何方！漫无目的的在Spring Ai 官方文档溜达（建议大家别看中文文档，感觉是没有感情的机器翻译的），一个升级日志就默默的写那里，没有激动，没有喜悦，没有懊恼，靜靜换了Artifact ID ，demo自然的跑起来了，就像本该如何这般。

Artifact ID Changes

The naming pattern for Spring AI starter artifacts has changed. You’ll need to update your dependencies according to the following patterns:

Model starters: spring-ai-{model}-spring-boot-starter → spring-ai-starter-model-{model}

Vector Store starters: spring-ai-{store}-store-spring-boot-starter → spring-ai-starter-vector-store-{store}

MCP starters: spring-ai-mcp-{type}-spring-boot-starter → spring-ai-starter-mcp-{type}

Demo让时间流慢了

撑开拳头，沙子掉得慢了，时间仿佛也通了人性，尽可能的的速度缓慢流逝。虽然时间来到了5月7号，还有两周时间，但感觉有了更多的时间去丰富功能了。虽然不直接支持腾讯向量库（不建议使用腾讯向量库，特别是对图的处理，有点难受），但为自定义实现提供了良好的基础。如果恰好也有用这个向量库的，可以参考下。


/*** @Author: JJ* @CreateTime: 2025-05-07  14:21* @Description: 腾讯向量存储*/
@Slf4j
@Component
public class TencentVectorStore implements VectorStore {private final VectorDBClient client;public TencentVectorStore() {log.info("tencentVectorStore  init");log.info("tencentVectorStore  init end");}@Overridepublic void add(List<Document> documents) {log.info("Adding " + documents.size() + " documents");}@Overridepublic void delete(List<String> idList) {log.info("Deleting " + idList.size() + " documents");}@Overridepublic void delete(Filter.Expression filterExpression) {log.info("Deleting filter " + filterExpression);}@Overridepublic List<Document> similaritySearch(SearchRequest request) {AIDatabase db = client.aiDatabase("db");CollectionView collection = db.describeCollectionView("cv1");SearchOption searchOption = SearchOption.newBuilder().withChunkExpand(Arrays.asList(1,1)).withRerank(new RerankOption(true, 2.5))  // 启用重排序，设置合理的召回倍率.build();SearchByContentsParam searchByContentsParam = SearchByContentsParam.newBuilder().withLimit(request.getTopK()).withSearchContentOption(searchOption).withContent(request.getQuery()).build();log.info("searchByContentsParam {}", JSONUtil.toJsonStr(searchByContentsParam));List<SearchContentInfo> searchRes = collection.search(searchByContentsParam);collection = db.describeCollectionView("cv2");searchOption = SearchOption.newBuilder().withChunkExpand(Arrays.asList(1,1)).withRerank(new RerankOption(true, 2.5))  // 启用重排序，设置合理的召回倍率.build();searchByContentsParam = SearchByContentsParam.newBuilder().withLimit(request.getTopK()).withSearchContentOption(searchOption).withContent(request.getQuery()).build();log.info("searchByContentsParam-healthcare_with_img {}", JSONUtil.toJsonStr(searchByContentsParam));List<SearchContentInfo> searchResWithImg = collection.search(searchByContentsParam);searchRes.addAll(searchResWithImg);return searchRes.stream().filter((rowRecord) -> rowRecord.getScore() >= request.getSimilarityThreshold()).map((rowRecord) -> {String docId = rowRecord.getDocumentSet().getDocumentSetId();JsonObject metadata = new JsonObject();StringBuilder knowledge = new StringBuilder();rowRecord.getData().getPre().forEach(a->{knowledge.append(a+"\n");});knowledge.append(rowRecord.getData().getText()+"\n");rowRecord.getData().getNext().forEach(a->{knowledge.append(a+"\n");});String content = knowledge.toString();log.debug(JSONUtil.toJsonStr(rowRecord));metadata = new JsonObject();metadata.addProperty("documentSetName", rowRecord.getDocumentSet().getDocumentSetName());metadata.addProperty(DocumentMetadata.DISTANCE.value(), 1.0F - rowRecord.getScore());Gson gson = new Gson();Type type = (new TypeToken<Map<String, Object>>() {}).getType();return Document.builder().id(docId).text(content).metadata(metadata != null ? (Map)gson.fromJson(metadata, type) : Map.of()).score(rowRecord.getScore()).build();}).toList();}
}

想自定义历史消息查询，也非常简单，毕竟默认的JDBC目前支持的数据库类型有限。只需要实现add 与 get 方法就可以了。恰好有想自定义实现的同学也可以参靠下。

/*** @Author: jijunjian* @CreateTime: 2025-05-08  13:53* @Description: 聊天记录*/
@Slf4j
@Component
public class BellaChatMemory implements ChatMemory {@Resourceprivate ChatMessageV1Mapper chatMessageV1Mapper;@ResourceRedisService redisService;@Overridepublic void add(String conversationId, List<Message> messages) {log.info("Saving " + messages.size() + " messages to conversation " + conversationId);MemberUserVo currentUser = MemberContextHolder.getCurrentUser();String lastedMessageKey = RedisKey.lastedMessageKey(conversationId);//用户的消息，手动添加，这里只添加系统的messages.forEach(message -> {String userId = "0";if (currentUser != null) {userId = currentUser.getUserCode().toString();}if (!message.getMessageType().equals(MessageType.USER)){chatMessageV1Mapper.insert(chatMessageV1SaveReqVO);}});}/*** @param conversationId* @param lastN* @deprecated*/@Overridepublic List<Message> get(String conversationId) {int lastN = 20;log.debug("findByConversationId {}", conversationId);LambdaQueryWrapper<ChatMessageV1DO> queryWrapperX = new LambdaQueryWrapperX<ChatMessageV1DO>().eq(ChatMessageV1DO::getConversationId, conversationId).eq(ChatMessageV1DO::getDeleted, 0).orderByDesc(ChatMessageV1DO::getId).last( "limit " + lastN);List<ChatMessageV1DO> chatMessageV1DOS = chatMessageV1Mapper.selectList(queryWrapperX);//列表根据 id 升序chatMessageV1DOS.sort((o1, o2) -> {if (o1.getId() > o2.getId()) {return 1;} else if (o1.getId() < o2.getId()) {return -1;} else {return 0;}});List<Message> messageList = new ArrayList<>();chatMessageV1DOS.forEach(messageDo -> {var type = ChatRoleEnum.getByCode(messageDo.getAuthorRole());switch (type) {case USER:String content = messageDo.getContent();if(!Strings.isNullOrEmpty(messageDo.getImgs())){content = content + "\n 用户图片：" + messageDo.getImgs();}messageList.add(new UserMessage(content));break;case ASSISTANT:messageList.add(new AssistantMessage(messageDo.getContent()));break;default:log.error("Unknown chat role " + messageDo.getAuthorRole());};});return messageList;}@Overridepublic void clear(String conversationId) {log.debug("deleteByConversationId {}", conversationId);}
}

两个特别留意的地方

Tool Calling 尝试100次都是无法调用，官方文档上的demo也无法运行，后来看到需要一个特别的参数配置才可以，于是101次成功了，但是102次又失败了，因为有些模型不支持Toos，于是103次成功了，也持续成功了。

        ChatOptions chatOptions = ToolCallingChatOptions.builder().internalToolExecutionEnabled(true)

ContextualQueryAugmenter 一定要重写 PromptTemplate 否则知识库中没有内容的话，总是回答不知道。还是直接在sping-ai原码中搜索才到这个提示，然后再针对性的解决了。原码中默认的PromptTemplate是这样的配置的。

	private static final PromptTemplate DEFAULT_PROMPT_TEMPLATE = new PromptTemplate("""Context information is below.---------------------{context}---------------------Given the context information and no prior knowledge, answer the query.Follow these rules:1. If the answer is not in the context, just say that you don't know.2. Avoid statements like "Based on the context..." or "The provided information...".Query: {query}Answer:""");

于是这样初始化RetrievalAugmentationAdvisor问题就解决了。

        Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder().queryTransformers(RewriteQueryTransformer.builder().chatClientBuilder(queryTransformerClient.mutate()).build()).documentRetriever(VectorStoreDocumentRetriever.builder().similarityThreshold(0.50).vectorStore(tencentVectorStore).build()).queryAugmenter(ContextualQueryAugmenter.builder().allowEmptyContext(true).promptTemplate(contextualPrompt).build()).build();

我也来践行峰终定律

有了上面的基础，522版本基本可控了，截至此时， MVP2.0算上基本上发布了，算是实现了阶段性目标，那条悬在公司外的腿，又坚强的收了回来了，很明显，腿还小着，系统中定义了多个Agent去执行不同场景的任务，舌诊Agent完成图片的收集与实别，问卷Agent完成相关用户数据收集的场景... 再有意图识别route到具体worker Agent。实现了一个简单的chatBot不是啥大成果，但是有了迭代的基础，也因此有了希望。