课设求助，基于图像处理的物体识别怎么做到依据特征识别物体？

[tlwf]

课设要求做一个水果识别系统，在论坛上看到有基于颜色筛选、形态学运算、边缘检测等图像处理操作来识别柑橘，但这好像并没有涉及到物体特征方面，假设用一个橘色的圆形图案是否也会被识别为橘子呢？怎样才能做到依据物体特征识别，提高准确率？请求指点！

之前是考虑走深度学习的思路，物体识别模型差不多完成了，但在识别物体数目的地方卡住了（如果可以的话也请指点下这个），遂转到图像处理。