如今的农业是怎么影响着我们的？如果住在城市，你可能会与生产食物的田地和农场存在距离。但是农业又恰恰是生活的核心，吃饭的粮食大米小麦，蔬菜瓜果不可或缺。

蓝河技术的精密除草机器人See＆Spray的原型。| 图片来源：Blue River Technology

今天的农民面临着巨大的挑战，用越来越少的土地养活不断增长的全球人口。到2050年，世界人口预计将增长到近100亿，全球粮食需求将增长50％。随着对粮食需求的增长，土地、水和其他资源将承受更大的压力。

农业具有的可变性，例如天气条件的变化，以及杂草和害虫等威胁，也对农民的生产能力产生相应的影响。在利用更少的资源的同时生产更多食物的唯一方法是通过农业机器人来帮助困难工作的农民，提供更高的一致性、精确度和效率。

农业机器人使用PyTorch

在Blue River Technology，我们正在构建下一代智能机器人。农民使用我们的工具来控制杂草并降低成本，从而促进农业的可持续发展。我们的除草机器人集成了摄像头、计算机视觉、机器学习和机器人技术，从而制造出了智能喷雾器，可以在田间行驶（使用AutoTrac可以最大程度地减少驾驶员的负担），并可以快速瞄准并喷洒杂草，使作物完好无损。

机器需要对什么是农作物和什么杂草做出实时决策。当机器驶过田野时，高分辨率相机会以高帧频收集图像。我们使用PyTorch开发了卷积神经网络（CNN）来分析每帧图像，并生成关于作物和杂草位置的精确像素图。一旦植物全部被识别，每种杂草和农作物都被映射到田间位置，并且机器人仅喷洒杂草。整个过程以毫秒为单位，由于效率很重要，因此农民可以覆盖尽可能多的土地。上面的视频是一个很棒的See＆Spray视频，更详细地介绍了该过程。

亚历克斯·马什，我们的野外作业专家之一，与一个自行式喷雾器合影。我们在Blue River与大型机器一起工作-Alex身高6英尺4英寸，与轮胎顶部大约齐平。| 图片来源：Blue River Technology

为了支持机器学习（ML）和机器人技术堆栈，我们基于边缘计算机上的NVIDIA Jetson AGX Xavier System on Module System On Module（SOM）AI构建了一个令人印象深刻的计算单元。由于所有的推断都是实时发生的，因此上传到云将花费很长时间，因此将服务器场带到了现场。专门用于视觉推理和喷雾机器人的机器人的总计算能力与IBM的超级计算机Blue Gene（2007）相当。这使它成为全球任何移动机械中具有最高计算能力的机器！

建立杂草检测模型

研究人员和工程师团队负责训练可识别农作物和杂草的神经网络模型。这是一个具有挑战性的问题，因为许多杂草看起来就像农作物。专业的农艺师和杂草科学家培训了我们的贴标人员，以正确贴标图像，您可以在下面发现杂草吗？

图片来源：Blue River Technology

在下图中，棉花植株为绿色，杂草为红色。

图片来源：Blue River Technology

机器学习堆栈使用PyTorch进行培训

在机器学习方面，我们拥有复杂的堆栈。使用PyTorch训练所有模型，在PyTorch之上构建了一组内部库，使我们能够执行可重复的机器学习实验。研究团队的职责分为三类：

建立生产模型以部署到机器人上

进行机器学习实验和研究，以不断提高模型性能

与机器学习，A / B测试，流程改进，软件工程相关的数据分析/数据科学

选择PyTorch是因为它非常灵活且易于调试。新的团队成员可以快速掌握最新信息，并且文档非常详尽。在使用PyTorch之前，我们的团队广泛使用Caffe和Tensorflow。在2019年，我们决定切换到PyTorch，过渡是无缝的。该框架使我们能够同时支持生产模型工作流和研究工作流。例如，我们将Torchvision库用于图像变换和张量变换。它包含一些基本功能，并且还与诸如imgaug之类的复杂增强软件包很好地集成在一起。火炬视觉中的转换对象是与imgaug集成的小菜一碟。

此外，PyTorch已成为计算机视觉生态系统中最喜欢的工具（请参阅Papers With Code，PyTorch是常见的提交）。这使我们很容易在半监督式训练中尝试使用诸如“ 偏向性对比学习”之类的新技术。

对于生产部署，我们的首要任务之一是在边缘计算设备上进行高速推理。如果机器人需要更慢的驱动力来等待推理，那么它在现场的效率可能不那么高。为此，我们使用TensorRT将网络转换为Xavier优化模型。

随着科技的发展，农业机器也会越来越进步，满足人类未来所属减轻农民的负担。