Project256

最近搭了个大模型对话界面，但传统的请求方式只能等大模型全部输出之后再传输至前端，导致使用者以为界面或接口卡住了。 另外由于是微服务无状态，使用WebSocket做长连接还得考虑重连等逻辑，而且引入了复杂度。SSE默认支持断线重连，基于HTTP协议，传输文本信息轻量简单。 在实践过程中也遇到了一些坑，请阅读下方代码注释。 JAVA遇到问题： Nginx缓存消息，导致消息无法流式输出。需要关闭... 阅读全文…

“你设计的是个什么东西啊？”、“没有商家会用的！”、“商家才不会觉得自己有什么问题！”、“你说说你的设计思想！”、“你怎么处理我不关心！但你增加了使用成本就是不行！”、“这是你们技术在后台处理的逻辑，不要摆在界面上！”。昨天一个线上交互设计评审会议上，一位一线运营同学在会议中如此咆哮。尽管我个人十分厌恶甚至尽可能规避冲突，但我还是压低心率仔细去听运营同学对设计稿的意见，其实冲突的根本原因可概... 阅读全文…

用了五年JAVA，学了一堆奇技淫巧，但好像一直没有涉足手动排查的技术。最近偶然看了一本《服务端开发：技术、方法与使用解决方案》，虽然这本书对于A公司员工没啥太大启发性，由于每天都在用书中所述的中间件、技术、稳定性组件、设计方案，因此就算是一个字一个字地看，也在一个下午看完了。不过其中有一段对JAVA线程问题排查部分还是我的技术空白，所以简单实践并记录一下。 第一步：top 能看到CPU使用率... 阅读全文…

今天顶着巨冷的天去咖啡馆看看书，只有每周末去咖啡馆的时光才能给“颓废”的周末休闲时光扳回一城。毕竟咖啡馆没有床，不打开电脑或是看看书总感觉和周围格格不入。 除了感受咖啡厅的BGM以外，嘈杂的人声就像是集中精神的环境音。当然有时候也会把注意力不小心集中到其他人的对话中，今天的topic就是某段对话的所思所想，有关于公寓老板培训新下属的对话。 公寓老板在简单介绍了工作职责范围之后，分享了如何留存... 阅读全文…

Topic祝各位亲们中秋&国庆假期快乐~ 由于大模型训练时间太长，还氪了一堆金心态爆炸，随便碎碎念闲聊闲聊。 今天的话题一方面是如何在职场建立差异化、一方面是求职还是读研。 如何在职场建立差异化笔者所在的A公司刚完成述职，其实大家做的工作都差不多，做工程的要么重构、要么迭代、要么CRUD堆功能。抛去晋升、人际关系等非可控要素，老大如何将不同等级绩效分配至各个手下呢？ 通过观察和实践高... 阅读全文…

禁用词处理在测试过程中，发现经常在对话中出现「……」的情况，经过分析剧本中有至少2K个类似回复。尽管此类回复配合CG图像能够从侧面表现人物心态的作用，但在AIGC工作中需要正面回答的回复。因此需要将剧本中相关字符去除，类似的还有***符号等。 ... 阅读全文…

背景近期服务器无法访问HuggingFace，而且我想薅免费羊毛，因此在服务器上部署了命令行式SSR。 但明明配置完毕，就是不能curl和git clone https协议的地址。就像终点就在眼前，但前方有一堵空气墙挡着。 ... 阅读全文…

准备微调书接上回，已经把CLANNAD剧本进行解析，并处理为LLaMA能够微调的JSON文件，接下来就开始实际操作LLaMA的微调工作。 由于微调需要的资源比较多，而且可能要花好几个小时，不可避免退出Colab标签页，因此化身氪金玩家转战AutoDL。 转战AutoDL的部分原因也有训练速度要比Colab快一些，5月份时曾经训练个狗脸识别模型，AutoDL的训练速度要完爆Colab。果然是人... 阅读全文…

准备微调数据今天计划完成如下目标： 读取文件 统计数据 清洗数据 构造微调JSON 尝试微调LLaMA大模型 代码和运行结果放在Github中 解析角色发言由于Java是我每天吃饭用的工具，虽然Python很香，但我选Java。毕竟准备微调数据JSON是一次性工作，不参与模型训练中，所以直接用比较顺手的工具解析并构造即可。 首先定义两个核心数据类，第一个是角色发言，每个对象存储角色名称以... 阅读全文…

今日工作读大佬翻译的Paper：[论文] LLaMA 2：开放基础和微调聊天模型 这位携程大佬中英双语，还翻译了一堆大模型相关论文，respect。 Huggingface由于某些神奇的力量，无法git clone，因此只能用Colab或是国内能够学术加速的研发平台。（无法用公司内部的机器……十分难受） 部署部署其实很简单，但硬件要求比较高。根据项目说明中的Colab部署方法，就能快速启动一... 阅读全文…