ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

半年来的学习总结(零零散散的数据、机器学习)

2020-02-22 13:04:35  阅读:273  来源: 互联网

标签:总结 比赛 lgb 融合 学习 方向 零零散散 单模


既然今天闲来无事,索性就来写写半年来的学习总结吧,顺便也写写所遇到的一些悲惨经历,真的是一把型辛酸泪。

一、初入新学校

从2018年10月确定推免资格,选了老板,定了方向之后,感觉到了人生另一个低谷。也只能怪自己,方向每选好。在这里奉劝一下各位,方向以及老板的RP非常重要,不要过去看重学校的名声和老师的名头,他们对你而言,并没有那么大的帮助。自己感兴趣的方向是ML、DL,但是老师做的方向却是工业控制什么乱七八糟的东西,招你进来的时候说的天花乱坠,进来之后你才知道,都是些什么GP啊!没办法,改变不了。。。

二、自寻门路

为了谋自己的出路,只能自己去探索,摸索好的方向去学习了,有人带与没人带,真的是天壤之别,到现在我还没有明确自己未来要从事的方向,真的是艰难!

2019年7月20日到了新学校,开始了硕士阶段,越做课题,感觉就越悲惨,每当别人问我的研究方向时,心里总是一阵模型的低落,这点需要自己去调整。这段时间,定了要做之后的算法岗,听说虽然方向不好,但是平台还在,师兄师姐进大厂的还挺多,一听便按按下决心去互联网公司。这段时间便在啃算法的书,因为本科阶段做的比赛大多是偏嵌入式控制,跟以后所要做的方向基本不搭边,相当于变成了一个小白,可知道有多难受。先看了些数据结构与算法相关的知识,这段时间先是把Python重新过了一遍,花了大概1个周的时间,接着大概花了1个月的时间看了数据结构的一些知识,因为不会C++,所以找了本python的书练习数据结构的一些算法,这样下去也把python巩固了一下。还是因为没什么基础,所以做完链表之后,后面的东西就暂时做不下去了,悲惨。这一阶段看完之后,也就到10月份了,开始转向机器学习相关的东西。时间我还清楚的记得,10.11开始。
在这里插入图片描述

三、开始做机器学习与数据挖掘

这里便开始了做机器学习相关的东西,还是先了解,来个入门。这里强烈推荐阿里天池的一系列入门教程,这个阶段的学习大概花了我一个月不到的时间,每个学习教程过一遍。
天池AI
在这里插入图片描述
大概到11月份,我开始了新手赛,入门数据科学。
在这里插入图片描述
通过做这个比赛,还是学到了机器学习很多的一些实用性知识,不在提留在空空的教程上面,通过打比赛来提高自己算是一个高效的方法了吧。最后打入了前10.。。。(其实时拼拼凑凑论坛大佬开源的bseline上去的,最终单模lgb,融合还没喝单模好。。。)但是在后面发现,单模lgb线上效果好,那是因为过拟合了线上,换一个数据集,就没融合的稳定了。

四、正式赛

在1月中旬的时候,舍友拉着我开始第一次打正式比赛,参考大佬的baseline然后自己做特征,最后官方给的第一个测试集testA我们用单模效果还挺好,但是再给第二个测试集testB时,效果明显差了很多,说明严重过拟合线上了,其实这样导致你的模型也不好。
在这里插入图片描述
太垃圾,不过勉强进了复赛。

遇到了很多坑,刚开始我们一直做特征,看论文,看别人开源的baseline加特征,分数上来不少,打这个比赛自己还是花了大量的时间在上面,感觉性价比并不是很高,因为学到的东西并不多。其实有个很傻逼的事情,就是tm不要一直去试线上的分数,每天试那么多,线下效果降了或者没动,线上好了,但是又怎么样呢?就相当于别人告诉你一个不知道的测试机,然后你疯狂试,如果把这个告诉你,还不是一样操作,所以感觉有点浪费时间。

我们也是了lgb与xgb做融合,其实线上并没有升,但是可能换个数据集就上去了,所以融合有融合的好处。对于训练的输出做lgb心得特征,目前看来,没什么P用。
最后收获最大的是和另一个大佬师兄一起组队,带着学了不少的东西,这里还是感叹一句,科班就是科班,真的不一样。一个转折点是在群里,因为实在做不动了,所以去和别人请教,大佬用Textcnn做了一个方法与lgb融合,效果非一般的好,后面这个阶段跟着师兄学习了一小波nlp,感觉收获还是蛮大的。另外师兄也告诉了一些之后的方向,让我们怎么去做,感觉收获挺大。

五、未来继续加油吧

之后要提高效率,并行的去打比赛了!

猫爱吃鱼the 发布了15 篇原创文章 · 获赞 6 · 访问量 1411 私信 关注

标签:总结,比赛,lgb,融合,学习,方向,零零散散,单模
来源: https://blog.csdn.net/qq_39783265/article/details/104440759

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有