前后两次AI底层技术创业花了11年失败，慌了，怎么找工作？

土豆砖墙 2024-08-05 15:15:05

第一次是08年起，从本地城市级千人级大厂主动离职，自虐式搞了7年方向是自研强化学习框架。

第一次的环境：

当时市面上没有这方面的开源软件，自己当时竟妄想填补这方向的市场空白。印象中和当时做阿尔法狗那家公司的前身公司（名字忘了）同一年出的强化学习小游戏demo。自己吃亏在学历低（只有大专），圈子窄，没有找到投资。我这样初创搞基础研发的风险非常大。

第一次的产品：
前4年的工作主要是数万行的堆c++代码，模型容器是用的自生长拓扑结构的神经网络（现象是：中间神经元和链接从几个和十几个涨到几百个神经元和几万个链接，神经层也是从1个中间层自生长到N的中间层。目的是：通过自生长的方式、产生结构和链接规模最优解的神经模型结果是：收敛结果总是比固定的神经网络要好一点），学习算法用的遗传算法，自己用得也挺复杂，简单就是说，什么技术最复杂，就上什么，光确定基因种群分类的算法就用了2种。通过4年的死扛，基本算法在自己写的小游戏里稳定收敛了。

后3年主要是做各种应用：第一种是找投资人做的，包括当时国内一个很有名投资人，做了2个，都是预测未来月份的电商业绩，当时我想到了一个适合强化学习的场景，就是通过抽样数万用户的个体业绩来预测总电商平台业绩。做了两个不同投资人的案例，准确率分别达到99.9% 和 99.8%左右（甲方没有给我未来数据，我先告诉对方答案，才看对不对）。这是有监督类学习不达到的结果。但是后来投资人给我说这个准是准，但是这种场景没有商业价值。后面就没有下文了。后面我又做了淘宝的数据分析预测应用，第一是当时能得到的淘宝用户的数据量很少，条件也不好，所以很多时候是适合有监督学习的场景，我用强化学习在做，最关键的一点是直到我后来上班后，自己开了一个淘宝店买东西，才发现之前做的东西根本就不是用户痛点。

再次打工：
之后我有又去找工作上班了，做数据分析相关岗位，都是用的开源机器学习框架了。 spark ml, sklearn，theano 这些，同时如果后端部门人手不够，我也会做做java 后端，因为我是个测试控，测试代码常常和正式代码量差不多，特别喜欢各种mock（pymock<python>、googlemock<c++>、gomock<golang>, Moq<C#>, mockito<java,scala>）。所以用mockito隔离测试的方式帮他们重建了一些 spring boot 项目，并且在上线发布脚本中强制加上每次上线必须把几百和上千的4种测试：单元测试、隔离测试、联动测试、集成测试全部跑通才会成功发布。所以我经手的后端项目会非常强壮，很少被测试部找麻烦。虽然在那家公司比较好过，因为通常模型部门和开发部门的人都对我很友好，因为我两边都能做。但是还是一直觉得心又不甘，觉得创业那7年的东西不能白白浪费了，始终觉得我以前的自研强化学习框架是可以的，就是缺一个应用，后来我想到量化交易，这不就是强化学习的场景吗，于是我老毛病又犯了，。

第二次创业：
为上一次创业搞的自研强化学习框架找个应用，做量化交易方向，又自虐4年：
第一部分是与时俱进用GPU改造了之前的强化学习框架，做性能优化：
让其支持CPU/GPU双模式用CUDA代码把业务逻辑和神经网络集成后统统写到GPU里面，因为c++ 标准 stl库支持GPU, 自己手写了自己要用的GPU版本，比如 vector, 因为主业务逻辑需要动态的显存空间。前面也提到过因为我的神经网络是自生长的，拓扑解构中存在大量稀疏矩阵，所以GPU化非常复杂，而且不适合上AI芯片(APU)，这个我试过，在CUDA APU中虽然稀疏矩阵会有一定优化，但是性能感觉比GPU没有优势。整体效果来说，神经网络部分性能提升了20多倍，加上GPU里面的业务逻辑（强化学习专用名词叫模拟环境）必须拖的后腿（必须阻塞式），用4090显卡，整体性价比按同价格租用的多路志强CPU服务器价格来算，至少综合提高了5-10倍以上。总结一下GPU开发，就是千万不要用开发CPU的思想来开发GPU程序，不然还不如CPU快，CPU 是缓存多，运算核少，GPU相反，一并发上万线程，每个线程最多只有几K共享内存可以用，寄存器空间更少。前期使用NVIDIA Visual Profiler、Nsight Systems工具来优化GPU代码，后期主要靠单元测试评估。

第二部分我又踩到坑了起初低估了这个建模的复杂程度，按自己其他商业建模的成功经验和自信，结果在这个行业踩到大坑，证劵交易行为具有特殊性，完全不同于之前的电商预测和自己写的小游戏AI，在不懂业务的情况下很容易过拟合。直到后面找到新解决方案的时候已经晚了（不该在完全不懂看交易趋势的情况下直接上神经网络，而是收集交易逻辑做专家系统，而承载遗传算法做强化学习容器的首选可能也不是神经网络，而应该是决策树，逻辑回归等加起来的一种符合容器，如果有需要后端再加上神经网络），因为经济原因，不得不停止本产品。

面临问题：投简历好几日了， boss直聘投求职意向后没人看，投意向后没有任何人找我要简历。直接在HR这边就被PASS了，然后网上一搜吓死，都是一些大龄程序员找不到工作，简历没人回的问题和视频。从年轻到现在我是一直爱好技术的，并没有失去主动性，要不是两次创业扔进去了11年，我肯定是某个领域专家。自己有很强的动手能力。打个比方说，算了，不打比方了。。。java、c++写过再多当年看起来有点厉害的东西，也不顶用了。

...全文