虫虫小说网

手机浏览器扫描二维码访问

第337章 噢(第1页)

要偏向于更为全面的文献数据。

生命周期评价的本质是用来评估产品或服务从生产到消费再到废弃的整个过程对环境和社会的影响,它考虑了资源使用、能源消耗、排放物的产生等方面。

那么为了提高最后基于电力LCA这个领域搭建的专业模型的准确度,对文献进行精细筛选,选取同时包括流程图,数据,各单元过程投入产出详细数据,数据时间地点落去方法,技术细节的文献,作为最终的数据。

将精细筛选后的论文数据,结合unstructed库进行数据处理。

进行信息精细化拆解与清洗,使以pdf形式存储的文献数据通过分割,分区,变成便于嵌入模型的结构化数据。

对文字进行筛选与清理,图像的内容进行识别,存储图像的解释信息,表格转化为HTML格式。

最后统一变成标题加内容的格式。

在这里我列举了简单的数据处理流程。

首先是对数据进行分割。

随后是对文本进行拆分,识别内容是否为文本,如果是,就填进text_list。

将表格转化为HTML格式,将图片变为图片解释信息。

第二部分是知识库的构建。

向量知识库,能将各类数据(如文本、图像、音频等)转化为向量形式进行存储。

数据之间的相似性和关联性得以量化,不像平时你存储你的,我存储我的,向量数据库给予了一个统一的标准。

也正是因为统一了格式,利用相似度对比,检索更加高效。

构建知识库的流程首先是提取分割文本进行向量化的操作。

向量化的本质是将离散的符号信息,如词或句子,映射到连续的向量空间中,以便计算机能够处理。

向量化将高维数据转化为低维数据,保留了数据的关键特征又降低了数据的复杂度。

选择pipee存储向量数据,它支持查询,插入,删除等一些列操作。

选择weaviate作为向量搜索引擎,可以通过主题的分类检索,进行语义搜索、问答提取等等功能。

第三部分是chatbot的构建。

先前已经构建好了针对电力LCA领域的专业大模型,但是缺少检验模型的手段,即缺少模型优化环节,本项目设置通过Chatbot模式,通过与用户进行问答的形式,检验模型是否能调用电力行业LCA领域向量数据库回答该领域专业性问题和时效性问题的有效性。

Chatbot是模拟人类对话的一种形式,就我们平时能使到的chatgpt就是以chatbot的形式来呈现的,而chatbot在这里的功能实现主要是为了体现检索功能,大致可分为知识库检索功能和在线搜索。

那么就产生了三种检索模式。

仅基于大语言模型,连接知识库搜索,和在线搜索。

前端部分我采用streamlit来完成,UI设计如图所示。

这边是功能按钮,中间是对话框。

热门小说推荐
官道征途:从跟老婆离婚开始

官道征途:从跟老婆离婚开始

妻子背叛,对方是县里如日中天的副县长!一个离奇的梦境,让李胜平拥有了扭转局势的手段!即将被发配往全县最穷的乡镇!李胜平奋起反击!当他将对手踩在脚下的时候,这才发现,这一切不过只是冰山一角!斗争才刚刚开始!...

官途:权力巅峰

官途:权力巅峰

官场如战场,尔虞我诈,勾心斗角,可陆浩时刻谨记,做官就要做个好官,要有两颗心,一颗善心,一颗责任心。且看陆浩一个最偏远乡镇的基层公务员,如何在没有硝烟的权利游戏里一路绿灯,两袖清风,不畏权贵,官运亨通。...

步步升云

步步升云

要想从政呢,就要步步高,一步跟不上,步步跟不上,要有关键的人在关键的时刻替你说上关键的话,否则,这仕途也就猴拉稀了...

权力巅峰:从城建办主任开始

权力巅峰:从城建办主任开始

官场是什么?官场是权力的游戏。官场远比江湖更为险恶。千帆竞渡百舸争流!跨过去那就是海阔任潮涌风劲好扬帆!官场的规矩是什么?正确就是官场的最大规矩!重活一世。刘项东洞悉一切。他不仅能正确,还会一直正确下去!重生是风自身为鹏大鹏一日同风起,这辈子,我刘项东要扶摇直上九万里!...

极品对手

极品对手

他们都是草根出生,凭自己的努力走上仕途,但一个清廉,一个腐败,于是一见面就成了格格不入的对手...

官场:扶摇直上九万里

官场:扶摇直上九万里

朝中无人莫做官,重活一世的秦毅不是这样认为。机遇来自于谋划,时时为朝前铺路,才能高官极品!上一世,含冤入狱,前途尽毁,孤独终老。这一世,从救省城下来的女干部开始,抓住每一个机遇,加官进爵,弥补遗憾,扶摇直上九万里!...

每日热搜小说推荐