卯卯 | 炼就一手绝世刀法！
日出东海落西山，愁也一天，喜也一天。遇事不钻牛角尖，人也舒坦，心也舒坦！
2019-08-29 09:58:45
bert微调的概念解读
至于在实际训练中的小技巧：bert参数先训练，后又不训练，后面的几个epoch只是训练我们自己所接的网络结构的可以参考：bert在实际项目中的处理这篇文章。一共是改两个地方：在下游任务代码中的，是第一处。这是第二处：
作者:yangli | 分类:bert | 浏览:2169 | 评论:0
2019-08-29 09:34:15
在数据集中噪声数据的切分，对模型效果的影响
我们的比赛实践结果：意思是：数据噪声数据越小，切分的数据集可以是0.9，0.8或者1.0。如果噪声数据很大，切分0.7，0.6效果会更好一点。
作者:yangli | 分类:bert | 浏览:1130 | 评论:0
2019-08-28 14:21:26
文本相识度计算-问题相似度计算-转换成一个分类问题
链接：https://blog.csdn.net/weixin_37947156/article/details/84877254
作者:yangli | 分类:bert | 浏览:1089 | 评论:0
2019-08-28 11:04:00
leedcote
https://leetcode.com/problems/two-sum/
作者:yangli | 分类:未分类 | 浏览:1125 | 评论:0
2019-08-27 11:18:03
bert预训练过程记录
google根据中文的一部分数据已经为中文预训练了一个模型，bert-base-cased(12层，768，12头)，之所以要预训练是为了针对领域的数据有更好的拟合能力。例如法律方面的数据。预训练模型文件夹所包含的文件：用原始数据生成一句一行，隔行分段后，供130M数据，生成examples.tf_cored大概要1小时。后面用run_pretraining.py训练，大概10000步要一小时（设备信息：54G内存，16G显存。）,根据设备性能，我选着的是句子256个长-（经过解析源码：预训练阶
作者:yangli | 分类:bert | 浏览:2015 | 评论:0
2019-08-27 10:52:48
bert模型的缺点
参考链接：https://www.jianshu.com/p/160c4800b9b5
作者:yangli | 分类:未分类 | 浏览:999 | 评论:0
2019-08-26 16:06:48
Python glob使用处理文件目录所用
https://blog.csdn.net/u010472607/article/details/76857493/
作者:yangli | 分类:未分类 | 浏览:978 | 评论:0
2019-08-21 09:48:32
bert的预训练与微调（需要的条件和注意点）————（相关的概念迁移学习：https://www.jianshu.com/p/22e462f01d8c）
https://blog.csdn.net/qq_35290785/article/details/89949289bert的官网链接：https://github.com/google-research/bert训练时长：
作者:yangli | 分类:bert | 浏览:1087 | 评论:0
- 控制面板
- 网站分类
- 搜索
- 文章归档
-
- 2023年4月 (1)
- 2022年12月 (6)
- 2022年11月 (2)
- 2022年10月 (4)
- 2022年9月 (1)
- 2022年8月 (1)
- 2022年7月 (2)
- 2022年4月 (1)
- 2022年3月 (4)
- 2021年5月 (1)
- 2021年3月 (1)
- 2020年10月 (1)
- 2020年9月 (11)
- 2020年8月 (1)
- 2020年7月 (2)
- 2020年5月 (4)
- 2020年4月 (1)
- 2020年2月 (1)
- 2020年1月 (1)
- 2019年11月 (2)
- 2019年10月 (3)
- 2019年9月 (5)
- 2019年8月 (19)
- 2019年7月 (6)
- 2019年6月 (8)
- 2019年5月 (10)
- 2019年4月 (16)
- 2019年3月 (37)
- 2019年2月 (24)
- 2019年1月 (11)
- 2018年12月 (3)
- 2018年11月 (3)
- 2018年10月 (7)
- 2018年9月 (8)
- 2018年8月 (41)
- 2018年7月 (29)
- 2018年6月 (14)
- 2018年5月 (16)
