|
主要技术参数
|
单位
|
样例图片
|
|
一、系统要求
AIOT人工智能物联网实验实训系统满足人工智能专业的《大数据技术原理与应用》、《Python 程序设计》、《计算机视觉/机器学习》、《自然语言处理》、《语音识别技术》、《神经网络与深度学习》、《智能机器人》基础教学、课程设计、综合应用、毕业设计。
二、系统功能
1、 需提供实践课程内容：Linux基础；Python基础；OpenCV实训；计算机视觉/机器视觉；机械臂控制；语音识别、自然语言处理；AI综合应用等。
相关师资培训培训服务。
2、 提供机器视觉学习路线图
3、 提供机械臂控制学习路线图
4、 ★系统具有硬件自检”功能：设备具有开机自动检测硬件是否完好的功能；检测结果从液晶显示模块中直观显示出来。系统具有完全自主知识产权，投标现场需提供软著或专利证书复印件加盖公章。
三、 硬件参数
1、 铝制实验箱
2、 金属结构支架平台，带手柄，方便拿取。
3、 边沿计算机板
1) CPU：ARM Cortex-A72 主频1.5GHz 64-bit处理器；内存：4GB；32G MicroSD卡；
2) USB3.0接口；摄像头接口；
3) HDMI接口；支持H.264/MPEG-4高清解码器；
4) 1000M以太网接口；
5) 3.5mm音频接口；
6) 扩散接口：40个GPIO接口；
7) WIFI单元；
8) 蓝牙单元；
9) 电源输入：5V 2.5A也可通过MicroUSB供电；
4、 机械手
1) 机械臂自由度：6自由度
2) 操作系统：Ubuntu18.04
3) 编程语言：Python
4) 舵机：6个舵机
5) 输出：6路总线舵机接口
6) 机械臂材质：阳极氧化铝
7) 有效抓取范围：半径≤30cm，以中心轴为半圆的区域
5、 摄像头
1) 110度广角摄像头
2) 帧率：30fps
3) 分辨率：480p（640*480））
6、 语音识别模块
7、 10寸液晶屏及支架
8、 无线键盘、鼠标套件
9、 仓储区、分拣区
10、 颜色配件教具
四、 配套教学资源
第1章 平台资源介绍
1.1 平台资源介绍
1.2 平台硬件资源介绍
1.2.1 AI边缘计算板资源说明
1.2.2 机械臂资源说明
1.3 平台软件资源介绍
1.4 平台课程体系及知识要点介绍
1.4.1 机器视觉学习路线图
1.4.2 机械臂控制学习路线图
第2章 开发软件安装和使用说明
2.1 安装SD卡格式化工具
2.2 格式化SD卡
2.3 烧写系统镜像
2.4 备份镜像
2.5 程序文件更新恢复
2.6 平台静态IP设置
2.7 关闭电脑防火墙
2.8 文件共享
2.9 平台使用方法
2.9.1 键鼠直接操作法
2.9.2 远程操作法（远程桌面VNC）
第3章 linux 基础
1) 目录切换命令 cd
2) 目录查看命令 ls
3) 查看当前目录命令 pwd
4) 创建目录命令 mkdir
5) 创建文件目录 touch
6) vim编辑器
7) 文件查看目录 cat
8) 复制文件命令 cp
9) 移动文件命令 mv
10) 删除目录或文件命令 rm
11) 删除目录命令 rmdir
12) 关机命令 poweroff
13) 重启命令 reboot
第4章 Python基础
1) 基本数据类型
2) 函数
3) 类
4) 模块
5) 异常
6) 网络编程
7) 多线程
8) GUI实验
9) 日期和时间
10) Numpy
11) Matplotlib
第5章 OpenCV实验
实验1 OpenCV入门实验
实验2 OpenCV几何变换实验
实验3 OpenCV图像处理之灰度化实验
实验4 OpenCV图像处理之二值化实验
实验5 OpenCV图像处理之边缘检测实验
实验6 OpenCV图像处理之文字图形绘制实验
实验7 OpenCV图像美化实验
第6章 计算机视觉/机器视觉算法实验
实验1 图像的反色实验
实验2 图像的平移实验
实验3 图像的高斯平滑实验
实验4 图像的均值滤波实验
实验5 图像的中值滤波实验
实验6 图像的sobel边缘检测实验
实验7 图像的Canny边缘检测实验
实验8 图像的种子填充实验
实验9 图像全局阈值分割实验
实验10 图像的OTSU（大津法）阈值分割实验
实验11 图像的形态学膨胀实验
实验12 图像的形态学腐蚀实验
实验13 图像的直方图均衡化实验
第7章计算机视觉/机器视觉算法应用实验
实验1 人脸追踪实验
实验2 前景检测算法实验
实验3 边界检测实验
实验4 虚拟绊线入侵检测实验LineRegionDetection
实验5 遗留物体检测实验ObjectLeft
第8章 自然语言处理实验
实验1 文本处理实验
实验2 文本识别实验
实验3 文本分类实验
实验4 文本情感分析实验
第9章 边缘计算板硬件实验
实验1 LED灯实验
实验2 蜂鸣器实验
实验3 按键实验
实验4 语音识别实验
第10章 机械臂基础实验
实验1 舵机控制实验
实验2 舵机位置读取实验
实验3 机器手运动控制实验
实验4 语音控制实验
第11章 机械臂应用实验
实验1 固定位置抓取实验
实验2 颜色识别之固定位置抓取实验
实验3 颜色校准实验
实验4 视觉定位实验
实验5 颜色分拣实验
|
套
|
|
|
一、 图像感知应用领域
1、 该开发平台是专门针对高校、研究机构进行图像识别技术、机器视觉、智能算法教学和科研设计开发，开发平台提供丰富的图像算法（测量、检测、定位、跟踪识别）和多种实际工程图像解决方案，系统内容丰富、功能强大，覆盖原理算法、机器视觉、智能交通、人脸识别、流量统计、手势识别、字符识别、运动识别跟踪等众多图像处理应用领域。
2、 开发平台提供的大量图像处理和机器视觉算法，用户可以自行搭建自己的图像识别、机器视觉检测系统；现代工业产品生产过程中涉及的各种各样视觉问题（颜色特征识别、形状识别、肉类精选、产品残缺检测、人/车流量统计、运动物体跟踪等）。实验平台结构开放，提供多种扩展接口，用户可添加自己的图像处理识别算法。
3、 开发平台提供图像处理实验，如图象分割、图象融合、机器学习、模式识别、图象测量、图象处理、模式识别和人工智能、三维测量、双目立体视觉等实验，培养学生对机器视觉知识的深入理解和掌握，锻炼学生的研究能力，创新思维以及独立解决技术难题的能力。
4、 开发平台还提供大量机器视觉项目应用案例做为实验，为研究和学习提供了方便，通过实验操作，用户可学习到建立视觉应用系统所需的各种硬件、方法及图像处理技术，同时也对工业自动生产线的产品视觉检测、判定模拟过程有了深入的了解和掌握。
5、 系统结构：高清像机、像机支架、识别核心板、算法软件、各种实物模型。用户可根据自己的实际爱好或实际需求选择合适的算法类型。实验开发平台配套提供了相对应的机器视觉实验，通过实验可以快速掌握基本开发知识，进而进行更深入的学习和研究。
1、 ★提供全套程序算法源代码。
二、 相关硬件
1、 图像传感器
1) 210万像素高清像机；
2) 传感器类型：1/3"CMOS传感器；
3) 最小照度：彩色:0.01Lux@(F1.2,AGC ON)
4) 黑白:0.001Lux@(F1.2,AGC ON) ；
5) 快门：1秒至1/100，000秒；
6) 镜头接口类型：C/CS接口；
7) 背光补偿：支持；
8) 数字降噪：3D数字降噪；
9) 数字宽动态；
2、 ★14寸TFT屏
1) 尺寸范围：14寸IPS屏；
2) 接口方式：LVDS数字接口；
3) 分辨率：高清1280X800；
4) 点距：0.2865mm；
5) 可视角度：全视角；
6) LED背光：是；
7) 电源：12V DC；
3、 边沿计算主板
1) CPU：ARM Cortex-A53 主频1.6GHz 64-bit处理器；
2) 内存：4GB；32G MicroSD卡；
3) 外扩32G MicroSD卡；
4) USB3.0接口；
5) 摄像头接口；
6) HDMI接口；支持H.264/MPEG-4高清解码器；
7) 1000M以太网接口；
8) 3.5mm音频接口；
9) 电源输入：DC5V；
10) WIFI单元；
11) 蓝牙单元；
4、 键盘、鼠标
三、 配套教学资源
第1章 实验平台介绍
1) 实验平台资源介绍
2) 摄像头资源介绍
第2章 镜像烧写和备份
1) 安装SD卡格式化工具
2) 格式化SD卡
3) 烧写系统镜像
4) 备份镜像
第3章 实验平台使用方法
1) 平台支持两种使用方式
2) 本地使用步骤
3) 远程使用步骤
4) 设置网关静态IP
5) 关闭电脑防火墙
6) 文件共享
7) 远程桌面软件（VNC）安装和使用
第4章 linux常用命令
1) 目录切换命令 cd
2) 目录查看命令 ls
3) 查看当前目录命令 pwd
4) 创建目录命令 mkdir
5) 创建文件目录 touch
6) vim编辑器
7) 文件查看目录 cat
8) 复制文件命令 cp
9) 移动文件命令 mv
10) 删除目录或文件命令 rm
11) 删除目录命令 rmdir
12) 关机命令 poweroff
13) 重启命令 reboot
第5章 python基础
1) 基本数据类型（整型、布尔型、字符串、列表、字典、元组）
2) 函数
3) 类
4) 模块
5) 异常
6) 网络编程
7) 多线程
8) GUI实验
9) 日期和时间
10) Numpy
11) Matplotlib（Plotting、Subplots、Images）
第6章 计算机视觉/机器视觉
实验1 图像的反色实验
实验2 图像的平移实验
实验3 图像的高斯平滑实验
实验4 图像的均值滤波实验
实验5 图像的中值滤波实验
实验6 图像的sobel边缘检测实验
实验7 图像的Canny边缘检测实验
实验8 图像的种子填充实验
实验9 图像全局阈值分割实验
实验10 图像的OTSU（大津法）阈值分割实验
实验11 图像的形态学膨胀实验
实验12 图像的形态学腐蚀实验
实验13 图像的直方图均衡化实验
第7章 AI综合应用实验
实验1 人脸追踪实验
实验2 前景检测算法实验
实验3 边界检测实验
实验4 虚拟绊线入侵检测实验LineRegionDetection
实验5 运动方向检测实验
实验6 遗留物体检测实验ObjectLeft
实验7 通用目标识别算法实验
|
套
|
|
|
1.CPU：Inteli5-10500处理器（6核，12MB缓存，3.1GHz）；
2.主板：Intel B460系列芯片组或以上；
3.显卡：集成显卡；
4.内存：48GB DDR4 2666 MHz；
5.硬盘：256GB M.2 SSD 固态硬盘；
6.I/O接口：2个PCIe x1；1个PCIe x16；1个PCI
7.数据接口：USB 8个(前置4个USB 3.2;背面4个USB 2.0)；1个RJ-45端口；1个HDMI端口；1个VGA端口；1个串行端口；
8.电源：200W 85%高效电源；
9.输入设备：与主机同品牌原厂抗菌防水USB键盘鼠标；
10.显示器：21.5英寸1920*1080显示器；DP或HDMI显示输出接口；
11.操作系统：windows10操作系统。
|
套
|
|
|
一、 系统要求
提升教学质量，创新课堂教学模式，提高师生课堂互动频率，新型智能分组研讨互动型教室应运而生。智慧教室互动系统是以5G技术为核心，搭建一套物联网共享及智能控制相结合的AIOT综合应用平台，系统以教师端触摸一体机为中心，集多屏互动、信息共享、人员考勤、智能控制、环境监测于一体的综合型物联网应用场景，为教师、学生提供了一个轻松、舒适、智能高效的智能化学习环境。
本方案设备：教师触摸一体机、学生屏，IOT智能中控、智能控制设备、桌椅等组成。
1、 3种教学互动模式：授课模式、讨论模式、分享模式；
2、 2大智能控制功能：多屏幕控制功能、设备控制功能（窗帘、空调、各种电源）、人员考勤功能；
3、 8种空气质量数据：温度、湿度、光照度、PM2.5、PM10、CO2、甲醛、TVOC；
二、 系统技术架构
特色：采用5G方式解决多屏之间的内容分享，无需施工，操作简单便捷。无缝解决教学中的电脑、PAD及教师和学生手机等电子设备中数据的相互传输的难题，教师触摸一体机可以实现对各小组屏幕与教师端屏幕间的数据、内容传输和互动、互控。
支持1个教师端+8个讨论小组，教师端与讨论小组的硬件与软件功能一致。
教师端可以无线控制教室内接入的所有设备，实现教学管理自动化、智能化。
三、 互动式教学系统
教学系统由触控投影机一体机、分组屏构成，典型配置为教师一体机+多个学生屏；使用触控一体机代替传统的黑板教学，实现无尘教学，保护师生的健康，教师直接在大屏上可以操作，在每个桌位上配置问答器，实现师生交互式课堂教学。
软件功能
老师授课时，老师屏的内容可以同步显示到学生屏上。
小组讨论时，每个学生屏可以无线投屏独立使用，教师端可以任意选择显示一个或多个学生屏的内容，便于老师实时了解每个组的讨论情况。
小组讨论成果分享时，每个学生屏的内容可以同步显示到老师及其它学生屏上。
教师端最大可以支持同步8个学生屏。
1、 授课模式
互动+控制，创新课堂教学模式，提高师生课堂互动频率，让教学生动有趣效，授课更精彩。
教师端屏幕可以显示和控制所有学生端屏幕，老师授课时，老师屏的内容可以同步显示到学生屏上，在教师屏上可以反控学生端的屏幕；
教师可以批注任意屏幕内容，老师和学生可以同时批注。
2、 小组讨论模式
课堂分组讨论，让课堂更活跃，学习效率更高效；
小组讨论时，每个学生屏可以无线投屏独立使用，老师屏可以任意选择显示一个或多个学生屏的内容，便于老师实时了解每个组的讨论情况，最多支持同时查看4个学生屏内容。。
3、 成果分享模式
小组内容共享，让思维更丰富，让内容分享更及时、方便；
该模式同老师授课模式一样，只是分享源选择不同，分享源选择需要分享的学生屏，同时分享源只能选择一个。
小组讨论成果分享时，每个学生屏的内容可以同步显示到老师及其它学生屏上。
四、 智能硬件
1、 IOT智能中控
1) 采用64位ARM内核处理器，响应速度快，抗干扰性强，稳定性好；
2) 教师通过智能中控实现对教室内电器设备、教室环境等实现智能采集、智能控制、数字化管理。
3) 智能中控支持同时接入多种智能硬件：无线电源控制节点；USB设备控制节点，无线窗帘节点，多功能环境检测节点、空调控制节点等各种智能硬件进行组网；
4) 功能：刷卡登录、一键上课、一键下课、设备梆定、电源管理、人员考勤、系统配置、网络设置、环境检测、电器设备控制等功能。
5) 用户登录：支持教师卡刷卡登录、用户名/密码登录；
6) 一键上课：一键开启所有勾选的清单内的设备；
7) 一键下课：一键关闭所有勾选的清单内的设备；
8) 全开功能：一键开启所有在线设备；
9) 全关功能：一键关闭所有在线设备；
10) 点开功能：点击设备编号图标打开/关闭控制节点；
11) 定时功能：按设定时间关闭设备；
12) 系统设置：设备类型、设备名称、位置编排、ID号等；
13) 网络配置：智能中控网络参数设定；
14) 网络通信方式：RJ45以太网通信接口；
15) 无线通信方式：可选wifi、zigbee、蓝牙无线通信方式；
16) Zigbee模块：通信频率：2.4GHz；休眠电流：2uA；发射电流：25mA；接收电流：20mA；接收灵敏度：-95dBm；发射功率：10Db；
17) 设备梆定：支持用户自主定义设备规则，完成设备梆定；
2、 室内环境监测仪
1) 采用ARM内核处理器；
2) 通信方式：支持以太网通信、Zigbee二种方式可选；
3) 检测种类：温度、湿度、光照度、PM2.5、PM10、CO2、甲醛、TVOC、空气质量；
4) 环境监测数据种类：TVOC：分辨率：1ug/m3；测量范围：0ug~2000ug；
1) PM2.5检测：分辨率：0.8ug/m3；测量范围：5ug~1000ug；测量精度：±10%；
2) PM10检测：测量范围：5ug~1000ug；测量精度：±10%；
3) 二氧化碳检测：测量范围：400ppm~2000ppm；测量精度：±100ppm；
4) 温度检测：分辨率：0.01℃；测量范围：-40~100℃；测量精度：±0.5%；
5) 湿度检测：湿度测量精度：±3%RH(5%RH-95%RH,25℃典型值)；温度长期稳定性：≤0.1℃/y；湿度长期稳定性：≤1%/y；
6) 甲醛检测：分辨率：1ug/m3；测量范围：1ug~1000ug；
7) 光照度检测：量程精度：1~65535 lx；最小误差变动在±20%；
8) 可定制其他传感器：可燃气体、CO、氨气、硫化氢等；
3、 人员考勤签到
1) 考勤管理：教师本体机主页界面可查看学生考勤情况一览表，出勤名单、迟到名单、缺勤名单。
2) RFID读卡器
工作电流：40mA；
通讯接口：UART；
蜂鸣器，读卡提示；
4、 其他节点：一键接入各种无线智能硬件
1) 智能电源控制节点
2) USB转换器控制节点
3) 灯光控制节点
4) 窗帘控制节点
5) 空调控制节点
6) 风扇控制节点
7) 幕布控制节点
五、 智能设备管理柜
1、 基础数据管理
1) 建立基础数据库，集中存放学生、教师、设备资产基础数据；
2) 支持基础数据的实时同步更新，为服务中心和应用系统提供数据支持；
3) 支持对基础数据的批量管理，并建立的有效的防碰撞机制，提高技术数据库的有效性和一致性；
2、 服务中心
1) 系统提供统一的服务平台，用于查看系统消息，包括查看消息、审批通知、逾期提醒、反馈回复等；
2) 需要提供个人消息中心，可对应用中产生的信息进行便捷管理；
3、 应用系统
1) 提供WEB端、微信小程序、微信公众平台；
4、 支撑平台要求
1) *智能设备柜尺寸采用镀锌钢板，厚度不小于1mm，1700*900*500，提供标准格号不少于16格（单柜长宽高42.5*22.5*47CM），单层承重不小于10Kg；
2) 标配220V电源输入模组；
|
批
|
|
|
一、 设备要求
该开发平台是专门针对高等院校、研究机构进行人工智能机器视觉的教学和科研设计而开发的系统。
1、 平台针对高校开设的人工智能、机器视觉、视频图像识别等教学和科研项目进行设计开发，提供丰富的图像算法和多种实际工程图像解决方案，覆盖原理算法、机器视觉、智能交通、人脸识别、流量统计、手势识别、字符识别、运动识别跟踪等众多图像处理应用领域。
2、 开发平台提供大量图像处理和机器视觉算法，用户可以自行搭建图像识别、机器视觉检测系统；现代工业产品生产过程中涉及的视觉问题（颜色特征识别、形状识别、肉类精选、产品残缺检测、人/车流量统计、运动物体跟踪等）。实验平台结构开放，提供多种扩展接口，用户可添加自己的图像处理识别算法。
3、 系统结构：高清像机、像机支架、识别核心板、算法软件、算法模型。用户可根据自己的实际爱好或实际需求选择合适的算法类型。实验开发平台配套提供了相对应的图像算法实验，通过实验可以快速掌握基本开发知识，进而进行更深入的学习和研究。
4、 视频显示：14寸LCD显示屏，分辨率：1280×800，HDMI接口。
二、 相关硬件
1、 图像传感器
1) 像素：210万；
2) 传感器类型：1/3" CMOS传感器；
3) 视频质量（分辨率）：1080P(1920X980)；
4) 镜头接口类型：C/CS接口；
5) 最大帧数：30帧/秒；
6) 捕获幅面：1920*1080；
7) 支持数字宽动态；
8) 数字降噪：3D 数字降噪；
9) 宽动态范围≥120dB；
10) MIC：支持双模拟麦克风输入；
11) 信噪比≥50dB；
12) 镜头焦距：5X（5-50mm）；
13) 图片输出格式：JPG格式；
14) 视频输出格式：AVI格式；
15) 输入电压：5V；
16) 背光补偿：支持；
17) 接口：标准USB2.0，兼容USB3.0接口；
18) 最大功耗：0.1W；
19) 工作温度:-20~70℃；
2、 14寸TFT屏
1) HDMI接口；
2) 高亮、可视角：可配各种驱动板；
3) 尺寸范围：14寸IPS屏；
分辨率：高清1024X780；
点距：0.2865mm；
可视角度：全视角；
LED背光：是；
接线方式：14寸LED屏幕标准接口屏线；
通用按键板；
电源： 12V电源；
3、 ★算法主控板
1) GPU：NVIDIA Volta architecture with 384 NVIDIA CUDA cores
2) CPU：6-core NVIDIA Carmel ARM v8.2 64-bit CPU，6 MB L2 + 4 MB L3 6MB L2 + 4MB L3
3) DL 加速器：2x NVDLA Engines
4) 视觉加速器：7-Way VLIW Vision Processor
5) 内存：8 GB 128-bit LPDDR4x @ 51.2GB/s
6) 存储空间：32GB
7) 视频编码：2x 4K @ 30 | 6x 1080p @ 60 | 14x 1080p @ 30 (H.265/H.264)
8) 视频解码：2x 4K @ 60 | 4x 4K @ 30 | 12x 1080p @ 60 | 32x 1080p @ 30 (H.265) ，2x 4K @ 30 | 6x 1080p @ 60 | 16x 1080p @ 30 (H.264)
9) 摄像头：2x MIPI CSI-2 DPHY lanes
10) 网络：Gigabit Ethernet, M.2 Key E (WiFi/BT included), M.2 Key M (NVMe)
11) 显示接口：HDMI and display port
12) USB：4x USB 3.1, USB 2.0 Micro-B
13) 其他：GPIO, I 2 C, I 2 S, SPI, UART
三、 支撑的课程
第1章 人工智能实训平台资源介绍
1.1 系统功能概述
1.2 系统硬件资源介绍
1.3 系统软件资源介绍
第2章 开发软件安装和使用说明
2.1 安装SD卡格式化工具
2.2 格式化SD卡
2.3 烧写系统镜像
2.4 备份镜像
第3章 实训平台使用说明
3.1 实训平台网络接口说明
3.2 实训平台静态IP修改方法
3.3 有线方式连接（网线）
3.4 无线方式连接（WIFI）
3.5 实训平台和PC机文件共享
3.6 实训平台使用方法
3.7 键鼠直接操作法
3.8 远程桌面法（VNC）
第4章 机器视频实验
实验1 图像的反色实验
实验2 图像的平移实验
实验3 图像的高斯平滑实验
实验4 图像的均值滤波实验
实验5 图像的中值滤波实验
实验6 图像的sobel边缘检测实验
实验7 图像的Canny边缘检测实验
实验8 图像的种子填充实验
实验9 图像全局阈值分割实验
实验10 图像的OTSU（大津法）阈值分割实验
实验11 图像的形态学膨胀实验
实验12 图像的形态学腐蚀实验
实验13 图像的直方图均衡化实验
第5章 机器视觉应用实验
实验1 人脸追踪实验
实验2 前景检测算法实验
实验3 边界检测实验
实验4 虚拟绊线入侵检测实验LineRegionDetection
实验5 运动方向检测实验
实验6 遗留物体检测实验ObjectLeft
实验7 通用目标识别算法实验
第6章 神经网络与深度学习算法实验
实验1 线性回归实验
实验2 逻辑回归实验
实验3 CNN深度神经网络OCR识别实验
实验4 CIFAR-10深度神经网络识别实验
实验5 ResNet101深度神经网络实验
实验6 VGG16深度神经网络实验
实验7 Xception深度神经网络实验
实验8 YoloV5目标检测实验
第7章AI深度学习应用实验
实验1 年龄识别实验
实验2 性别识别实验
实验3 人体姿态检测实验
实验4 手势检测算法实验
|
套
|
|
|
(一) 机器人车体主要技术指标要求
1. 车体尺寸（长*宽*高）：505mm*350mm*165mm；
2. 要求程序代码必须全部开源，机器人的驱动器要求采用嵌入式Cortex-m3内核的控制器，操作系统采用目前最流行的ROS机器人操作系统，支持C++ 开发，python开发，神经网络、Opencv开发。提供丰富的案例让学生能从零基础一步一步从了解到熟练掌握机器人开发的全过程。
3. 软件系统：基于ROS的定制化系统，集成开发系统和学习系统；设备安装linux系统，预装tensorflow，pytorch，pycharm开发工具和开发环境，具备实时调试摄像头、机械臂和智能车功能；
4. 机体质量：5kg，车体结构：6061 铝合金车架，ABS 外壳、POM 摆臂、金属避震器
5. 供电方式：12AH（12V）
6. 结构形式：四驱运动模型
7. 控制方式：PC 端上位机控制、无人驾驶模式
8. 视 觉：IMX219 800 万像素 160 度广角摄像头
9. 惯 导：MPU6050 6轴姿态：3 加速度、3 陀螺仪、IIC 通信 协议
10. 激光雷达：12 米测距、配套完整、USB 串口、SDK 开源工具
11. 里程计：增量脉冲计数
12. 安全保护：过电流保护、电压检测
13. 控制器：STM32 复合驱动板、Jetson Xavier NX控制器
14. 通信系统：WIFI 通信、UART、RosMsg
15. 操作系统：Ubuntu18.04 LTS、ROS-melodic、Windows
16. 编程语言：C/C++/Python3
17. 使用软件：Keil5、Kdevelop、VS2015、Pycharm
18. 匹配环境：OpenCV3.4、Pychtorch、Pip3、Rviz、Gazebo
19. 全四驱设计：4电机实时四驱；
20. 4个实心车轮
21. 4个电机固定支架
22. 4路直流伺服电机；
23. 全铝合金底盘
24. 传感器、锂电池
25. 维修便利性要求：系统要求采用全部是模块化的结构，便于后续维护和维修，要求所有功能单元均是独立的模块可以直接插拨，不接受功能模块都集成在底板上的方式（一个小部件损坏整个系统都要返厂维修，影响正常教学）。
26. 采用铝合金材质的收纳箱，箱内采用EVA材料做支撑，设计合理的各种器件的收纳区域（提供产品图片）。
27. 应用包含：四轮全驱机器人，AI语音交互，AI视觉识别、slam应用场景。
28. 车体搭载6自由度机械手臂。
(二) 小车收纳箱
1. 铝合金材质收纳箱，避免智能小车损坏。
2. 内部EVA材质扣槽
3. 手提手柄
(三) 电机主要技术指标要求
1. 减速比：1:90；
2. 空载电流：≤100mA
3. 空载电流：53rpm
4. 额定转速：40rpm
5. 额定转矩：4.8 Kg.cm/0.48N.m
6. 额定电流：≤0.35A
7. 堵转转矩：9.0 Kg.cm
8. 堵转电流：≤1.7A
9. 车轮直径：95mm
10. 轮胎宽度：25mm
11. 编码器类型：AB双相增量式磁性霍尔编码器
12. 线速：基础脉冲11 PPPx齿轮减速比
13. 供电电压：DC3.3V/DC5.0V
14. 输出信号类型：方波AB相
15. 响应频率：100KHz
16. 基础脉冲数：11PPP
17. 磁环触发极数：22极（11对极）
(四) AI边缘计算板主要技术指标要求
1. 无线鼠标、键盘，电源管理模块，铝合金结构；
2. 提供边缘计算能力：jetson xavier Nano；
16. ★要求具有硬件自检测功能 ：设备开机自动检测底板上的所有硬件是否完好；节省老师在每次使用设备前排查设备好坏的时间（提供专利或软件著作权证书）；
(五) 高清像机主要技术指标要求
1. ★像素：210万；
2. 传感器类型：1/3" CMOS传感器；
3. 视频质量（分辨率）：1080P(1920X980)；
4. 镜头接口类型：C/CS接口；
5. 最大帧数：30帧/秒；
6. 捕获幅面：1920*1080；
7. 支持数字宽动态；
8. 数字降噪：3D 数字降噪；
9. 宽动态范围≥120dB；
10. MIC：支持双模拟麦克风输入；
11. 信噪比≥50dB；
12. 镜头焦距：5X（5-50mm）；
13. 图片输出格式：JPG格式；
14. 视频输出格式：AVI格式；
15. 输入电压：5V；
16. 背光补偿：支持；
17. 接口：标准USB2.0，兼容USB3.0接口；
18. 最大功耗：0.1W；
19. 工作温度:-20~70℃；
(六) 激光雷达主要技术指标要求
1. 激光测距，避障，小车导航。
2. 主要技术指标：测距范围：0.15——12米；
3. 扫描角度：0——360度；
4. 测距分辨率：＜0.5mm；
5. 角度分辨率：≤1度
6. 单次测距时间：0.5毫秒
7. 测量频率：≥4000赫兹
8. 扫描频率：5.5赫兹
9. 激光波长：775——795纳米
10. 激光功率：TBD-5毫瓦
10．脉冲宽度：TDB-300
(七) 双目摄像机主要技术指标要求
1. 传感器：MT9M001+AR0330
2. RGB像素：1080P
3. 静态拍照分辨率：1280*720/640/480
4. 深度分辨率：640*480/320*240/160*120
5. 深度最大帧率：30FPS
6. 视频录像分辨率：1280*720
7. 视频最大帧率：30FPS；
8. 可视角度：H60°V46.7°
9. 工作范围：0.6M——4M
10. 工作温度：-10℃——+50℃
11. 接口：USB2.0
12.输入电压：5V
(八) 6轴机协作机器人主要技术指标要求
1. ★机械臂自由度：6自由度；
2. 舵机：5个15kg和1个6kg串行总线舵机；
3. 机械臂可自带高清摄像头（提供产品图片）；
4. 输出：6路总线舵机接口；
5. 对焦方式：手动对焦；
6. 通信方式：WiFi网络；
7. 机械臂材质：阳极氧化铝；
8. 有效抓取范围：半径≤30cm，以中心轴为半圆的区域；
9. 帧率：30fps；
10. 材质：铝合金；
11. 负载：0~0.5kg；
12. 臂展：5cm-32cm；
13. 通信方式：USB接口；
14. 执行机构：电动夹爪；
15.控制器：英伟达Nano
(九) 运动控制板主要技术指标要求
1. 采用STM32F103RCT6，LQFP-64，FLASH：256KB，SRAM：64KB
2. 时钟单元：高速（8MHz，锁相环倍频到72MHz）
3. 1个电源输入接口，DC12V，接口为DC5.5/2.1
4. 1个12V电源输出口
5. 1个7.2V电源输出口
6. 2个USB转串口，芯片为CH340（1个作为通信串口，1个作为调试串口）
7. 4个编码器电机接口：电机驱动芯片为TB6612FNG
8. 1个标准的20针JTAG下载调试口
9. 1个复位键
10. 4个用户LED灯
11. ★1个IMU传感器（MPU6050）
(十) 课程资源要求
★必要功能：提供3本实践教材，满足ROS机器人--应用综合篇、运动控制篇、机械臂控制篇三部分内容（提供满足要求的实践教材目录截图）。
（一）ROS机器人--应用综合篇
第1章ROS机器人配置参数说明
1) ROS机器人整体参数说明
2) 主控CPU介绍
3) 激光雷达介绍
4) 深度摄像头介绍
5) 电机参数介绍
6) 电机驱动板介绍
7) 6自由度机械臂介绍
第2章ROS基础课程
2.1 Ros系统简介
1) ROS是什么
2) ROS的特性
3) ROS的结构
4) ROS系统整体架构
5) 从文件系统级理解ROS架构
6) 从计算图级理解ROS架构
7) 从开源社区级理解ROS架构
2.2 ROS命令
1) ROS命令概述
2) ROS执行命令
3) ROS catkin命令
4) ROS功能包命令
2.3 ROS环境配置
1) 设置网络和机器人热点
2) 配置ROS机器人的参数
3) 虚拟机ubuntu的配置
2.4 ROS hello word基础程序开发
1) 工作空间的创建
2) 功能包的创建
3) 功能包的源代码编写
4) 功能包的编译配置
5) 功能包的编译
6) 功能包的启动运行
2.5发布者与订阅者
1) 功能包的创建
2) 功能包的源代码编写
3) 功能包的编译配置及编译
4) 功能包的启动运行
2.6 ROS中编写Publisher和Subscriber的方法（Python版）
2.7客户端与服务端
1) 功能包的创建
2) 在功能包中创建自定义服务类型
3) 功能包的源代码编写
4) 功能包的编译配置及编译
5) 功能包的启动运行
2.8 TF发布与监听
1) 机器人中的坐标系
2) 机器人坐标关系工具tf
3) tf变换
2.9熟练使用rviz
1) rviz整体界面
2) 添加显示内容
3) 主界面中常用按钮
4) rviz启动方法
2.10 机器人键盘控制
2.11 机器人底层驱动板通信
第3章 ROS 激光雷达系列课程
实验1 雷达基础
实验2 雷达类型以及对应的串口
实验3 雷达参数设置
实验4 雷达跟随
实验5 Gmapping构建地图
实验6 自主导航与避障
实验7 ROS深度摄像头系列课程
实验8 摄像头基础
实验9 RGB摄像头基础编程
实验10 深度摄像头基础编程
实验11 视觉跟踪
实验12 视觉巡线
实验13 ROS语音导航系列课程
实验14 语音识别模块基础
实验15 ROS机器人语音移动控制
实验16 ROS机器人雷达跟随
（二）ROS机器人--运动控制篇
第1章 ROS机器人驱动板资源简介
第2章 开发软件安装
2.1 安装RealView MDK5.17环境
2.2 安装STM32F1xx系列芯片的开发包
2.3 安装J-LINK仿真器驱动
2.4 安装USB转串口驱动
2.5 在MDK中新建一个工程模板
2.6 MDK软件设置
第3章 ROS机器人驱动板实验
实验1 LED实验
实验2 系统定时器实验
实验3 通用定时器（TIM2）实验
实验4 串口实验
实验5 ADC实验
实验6 电机驱动实验
实验7 编码器实验
实验8 IMU采集实验
实验9 FreeRTOS任务调度实验
实验10 FreeRTOS信号量实验
第4章 机器人运动控制
实验1 机器人运动学分析及PID控制
实验2 机器人通信协议分析
实验3 机器人程序结构图和控制流程图
（三）ROS机器人—机械臂控制篇
第1章 机械臂基础
1.1. 机械臂介绍
1.2.功能应用
1.3.硬件参数
1.4.ROS环境配置
1.5.ARM端口映射方式
1.6.使用cutecom控制舵机及控制协议
1.7.机械臂urdf模型moveit配置
第2章 机械臂系列实验
实验1 机械臂正解实验
实验2 机械臂逆解实验
实验3 机械臂笛卡尔空间路径规划实验
实验4 机械臂虚拟空间避障实验
实验5 机械臂键盘控制实验
实验6 HSV阈值参数调试实验
实验7 机械臂色块跟随实验
实验8 机械臂人脸跟随实验
实验9 机械臂色块夹取参数调试实验
实验10 机械臂色块夹取实验
实验11 语音机械臂实验
|
套
|
|
|
一、 产品概述
该开发平台是专门针对高校、研究机构进行AI人工智能深度学习的教学、科研、项目开发而定制开发的系统。
1、 平台针对高校开设的人工智能、机器视觉、视频图像识别等教学和科研项目进行设计开发，提供丰富的图像算法和多种实际工程图像解决方案，覆盖原理算法、机器视觉等众多图像处理应用领域。
2、 开发平台提供大量图像处理和机器视觉算法，用户可以自行搭建图像识别、机器视觉检测系统；现代工业产品生产过程中涉及的视觉问题（颜色特征识别、形状识别、肉类精选、产品残缺检测、人/车流量统计、运动物体跟踪等）。实验平台结构开放，提供多种扩展接口，用户可添加自己的机器视觉识别算法。
3、 系统结构：高清像机、像机支架、电机转盘、液晶屏、边缘计算板、视觉算法、算法模型等。用户可根据自己的实际爱好或实际需求选择合适的算法类型。实验开发平台配套提供了相对应的视觉算法实验，通过实验可以让学生快速掌握AI开发知识，进而进行更深入的学习和研究。
4、 视频显示：19寸LCD显示屏，分辨率：1280×1080，HDMI接口。
二、 相关硬件
1、 边缘计算板
1) GPU：NVIDIA Volta architecture with 384 NVIDIA CUDA cores
2) CPU：6-core NVIDIA Carmel ARM v8.2 64-bit CPU，6 MB L2 + 4 MB L3 6MB L2 + 4MB L3；
3) DL 加速器：2x NVDLA Engines；
4) 视觉加速器：7-Way VLIW Vision Processor；
5) 内存：8 GB 128-bit LPDDR4x @ 51.2GB/s；
6) 存储空间：32GB；
7) 视频编码：2x 4K @ 30 | 6x 1080p @ 60 | 14x 1080p @ 30 (H.265/H.264)；
8) 视频解码：2x 4K @ 60 | 4x 4K @ 30 | 12x 1080p @ 60 | 32x 1080p @ 30 (H.265) ，2x 4K @ 30 | 6x 1080p @ 60 | 16x 1080p @ 30 (H.264)；
9) 摄像头：2x MIPI CSI-2 DPHY lanes
10) 网络：Gigabit Ethernet, M.2 Key E (WiFi/BT included), M.2 Key M (NVMe)；
11) 显示接口：HDMI and display port；
12) USB：4x USB 3.1, USB 2.0 Micro-B；
13) 其他：GPIO, I 2 C, I 2 S, SPI, UART；
2、 高清图像传感器
1) 像素：210万；
2) 传感器类型：1/3" CMOS传感器；
3) 视频质量（分辨率）：1080P(1920X980)；
4) 镜头接口类型：C/CS接口；
5) 最大帧数：30帧/秒；
6) 捕获幅面：1920*1080；
7) 支持数字宽动态；
8) 数字降噪：3D 数字降噪；
9) 宽动态范围≥120dB；
10) MIC：支持双模拟麦克风输入；
11) 信噪比≥50dB；
12) 镜头焦距：5X（5-50mm）；
13) 图片输出格式：JPG格式；
14) 视频输出格式：AVI格式；
15) 输入电压：5V；
16) 背光补偿：支持；
17) 接口：标准USB2.0，兼容USB3.0接口；
18) 最大功耗：0.1W；
19) 工作温度:-20~70℃；
3、 19寸LCD显示屏
20) HDMI接口；
21) 高亮、可视角：可配各种驱动板；
22) 尺寸范围：19寸IPS屏；
23) 可视角度：全视角；
24) LED背光：是；
4、 电动旋转盘
1) 自带电源开关；
2) 直流电机及驱动控制器；
3) 工作电压：220V,50Hz；
4) 功率：4W
5) 转速：30、60、90、180S/圈可选；
6) 直径450mm, 360度电动旋转台。
5、 USB键盘、鼠标套件
三、 教学资源
1、 BladeCV：机器学习库和二进制库及开发文档。
2、 Tengine：深度学习代码和开发文档。
3、 HCL：异构计算库和二进制库及开发文档。
4、 视频解码：通过学习视频解码的概念和方法，掌握H264和H265编码标准，熟悉RTSP协议，达到灵活运用硬件解码器的目的。
5、 样本获取与处理能力的学习：通过使用网络爬虫及公开数据集获取样本的方法，了解手工标注和典型公开数据集的标注方法，达到掌握样本处理的技能。
6、 目标检测的学习：通过目标检测的概念的学习，达到学习MobileNet-SSD目标分类检测算法的目的。
7、 图像采集的学习：通过从硬件设备采集图像数据并熟悉图像格式（YUV，RGB）转换，深入理解V4L2的概念，达到掌握图像采集的方式方法及（YUV，RGB）转换的目的。
8、 模型训练的学习：通过对数据标注，了解模型训练的完整流程，掌握模型转换的基本技能。
9、 Tengine模型转换的学习：Tengine使用说明及模型转换实践的学习。
10、 模型部署实践的学习：通过对一类新模型进行数据采集、转换及部署，达到把新模型应用到具体使用环境中去的学习目的。
四、 配套教学资源
1、 计算机视觉基本原理
2、 计算机视觉训练模型
3、 计算机三维物体识别
4、 多目标物体分类检测算法
|
套
|
|
|
一、 平台概述
AI算法能够快速产生巨大的实际经济效益， AI的应用场景多，AI人工智能算法对各个行业具有积极的作用，将打开行业创新、智能应用的大门，并在某些新的应用和新的市场中间占有先导地位 。在某种特定场景下，AI人工智能入局或将给传统产业带来颠覆性的变化。
系统实现对多路视频数据的融合处理，将集中存储的视频影像信息融合引接到一起，通过高速的AI数字模型计算、高速压缩算法，分通道完成对特定目标的识别、联动及控制，不仅有效解决了图像的快速精准识别，还能根据不同的用户需求灵活搭建、部署多种方程式和AI算法，精准建立基于视频数据的AI应用系统。从而更好形成全时空合力，保障智能及安全。
二、 软件平台内容
1、 管理服务器单元
1) 流媒体服务器：视频流数据转发，转码，提供API遍历查询摄像头等
2) 交换机：32口交换机，将各个设备（如服务器、边缘板、像机、IOT网关接入同一局域网内。
2、 AI计算单元
1) AI推理计算：3080 GPU处理器
2) 高清摄像头：IP摄像头，用于提供算法所需的实时视频，IP可以用户配置；
3、 IOT单元
1) IOT网关：物联网IOT网关，ARM主控芯片网络接口；
2) 传感器：采集类传感器、报警类传感器、气体类传感器等
3) 相机支架：用于支撑摄像头，摄像头匹配
5、 配件
1) 安全帽：安全帽
2) 车辆号牌：蓝色车牌号
6、 机柜：120×60×60CM标准机柜
三、 平台硬件结构
所有的设备都以IP的形式连入局域网内，由交换机和路由器进行管理。
1、 学生端和边缘计算板通过IP进行配置成对应关系；
2、 系统设计最大支持视频流，支持3-50个摄像头， 所有的学生端都可以连入这些摄像头；
3、 其他设备按照套内数目提供；
4、 部分硬件可作为系统扩展；
四、 用户管理
1、 用户登录
2、 用户注册
操作流程：
管理员和教师角色可以点击用户添加按钮后，填入用户的基本信息进行用户注册；
限制条件：
管理员可新增 教师和学生账号；
教师可以新增学生账号；
学生无新增权限；
3、 用户角色
4、 用户登录
操作流程：
每个用户输入自己的用户名密码即可登录；
密码错误或者用户名不存在则提示用户或者密码错误；
限制条件：无
5、 用户修改密码
操作流程：
每个用户登录后可进行个人账号密码的修改，管理员不能进行密码修改；
修改密码的时候，需要输入旧密码，验证正常才可修改成功；
限制条件：
管理员可重置教师和学生的账号密码；
教师权限可重置学生账号密码；
6、 用户列表管理
操作流程：
管理员和教师账号可以在用户管理界面进行用户列表管理，可进行如下的操作：
查找用户：按照用户名，用户角色，用户班级进行检索；
新增用户：填入用户资料，新增用户；
编辑用户：可修改用户的属性值，可重置密码；
删除用户：可进行用户的删除；
限制条件：
仅管理员和教师具备权限， 可看到对应页面；
管理员可增删改教师和学生账号；
教师可增删改学生账号；
7、 用户属性与资源
8、 用户操作记录
记录：
平台会记录每个用户的登录，以及资源操作(增删改)记录；
查询记录不会留有记录；
查询
仅管理员可查询到用户操作记录；
操作记录可按照人员名称，开始结束和结束时间作为检索；
已经删除用户的操作记录，不会显示；
五、 实验管理
1、 实验属性
实验资源分为实验主体和实验记录两部分：
实验主体包含大纲，课件，算法，外部可引入的资源：摄像头，IOT网关控制器，代码版本库；
实验记录包含关联的学生，时间，算法临时版本库，实验报告，实验断点记录；
2、 实验文档
实验文档主要包含实验大纲和实验课件两部分：
实验大纲，word格式，教师用户可以上传，下载，删除；需要和某一个实验进行绑定，不允许跨实验使用同一个word文件。文件名重名需要删除后重新上传。
学生具备下载权限；
实验课件，word或者ppt格式，教师用户可以上传，下载，删除； 不允许跨实验使用同一个word或者ppt文件。文件名重名需要删除后重新上传。
学生具备下载权限；
3、 实验报告
学生在实验过程中和实验完成后，可上传自己的实验报告，报告主体为word格式；
实验报告绑定学生id，代码版本库信息 ，摄像头信息等；
学生可进行上传，下载和删除权限；
教师可进行下载权限；
一个学生一个实验允许多个实验报告存在，用时间戳来进行区分；
教师可进行多项查找检索实验报告；
4、 实验算法
每个实验会内置一个默认算法
算法和实验是一一对应的，不允许存在一对多或者多对多的关系；
算法为平台内置，不允许修改；
算法应提供足量且合规的API接口，例如视频获取接口，结果视频展示接口， 可控参数接口， 该接口需要后期追加文档协定；
算法应该提供多个执行步骤， 可分步进行处理和验证分析；
5、 实验新增
每个实验需要绑定算法， 绑定设备， 约定参数和外部接口等限制条件， 用户自定义实验进行新增操作对于平台具备不可控的因素；
采用平台升级包的方式进行实验新增， 开发过程中考虑到实验属性的可配置性， 导入新的实验可动态扩充；
按照规范进行实验扩充，测试后提供给用户；
6、 实验断续
学生在实验过程中可进行中断操作， 中断操作可自动保存实验报告、 代码版本以及摄像头ip信息，并且将该条记录标记成待完成版本。
学生在下次登录系统后，自动会进入这个待完成版本进行重新编辑、实验；
除了常规的中断操作，学生也可以使用git操作进行代码提交；
学生不进行任何操作， 则数据不会进行保存；
7、 实验流程
整体实验分为三个阶段， 每个阶段分为多个实验步骤：
8、 流程框图
9、 实验外部链接
实验和代码版本相关，代码版本库使用git仓库控制，可进行单独控制和管理；
实验和IP控制板相关，每个边缘计算板可以绑定一个IOT网关板，进行联动及控制；
|
套
|
|
|
1、下位机控制器：控制器1个，32位处理器，时钟频率120MHz，256KB flash。集成蜂鸣器、2路程序运行按钮、指示灯等。提供不少于6路RJ11传感器接口，可接模拟、数字、串口、IIC传感器及数字输出。提供不少于2路485串行接口，可接智能舵机，可扩展8个直流电机驱动口、8个编码电机驱动口。
2、编码电机驱动板: 编码电机驱动板2个，控制主芯片Cortex-M3处理器，主频72MHz，256k FLASH，64K RAM。4路RJ11电机接口，可接编码电机、直流电机。每路具有过电流保护功能，最大输出电流2.7A，具有软件防堵转功能。
3、传感器：超声1个，单灰度2个，火焰1个，温湿度1个，光敏1个，陀螺仪1个，按键开关1个，触摸开关1个，蓝牙1个。
4、执行器：编码电机8个，工作电压4V-16V，空载转速：9V /400±10 rpm，负载力矩1kg*cm，具有过电流保护功能；舵机3个，角数范围：0-180度，精度1度，负载力矩13kg*cm；伺服电机3个，最大扭矩18kg*cm，串行总线控制方式，可与梁、销、轴等快速搭建；RGB灯2个；数码管1个；点阵屏1个。
5、结构件：使用高强度2mm和3mm铝板冲压成型，CNC精密加工。铝合金材质，阳极氧化着色。结构件设计比例基于标准的10毫米。结构件数量不少于205个,其中冲压件不少100个，CNC加工多孔梁不少于85个。螺丝不少于450个。其他结构件不少于360个。
6、能源：专用锂电池3个，7.4v2500mAh，最大放电电流为6.5A，自带保护电路。2S/3S平衡充（B5）一个。
7、软件：支持图形化编程、 C编程、python编程。
8、上位机EdgeBoard参数（1块）：
1）芯片：Xilinx Zynq UltraScale+ MPSoCs(ZU3)，四核ARM Cortex-A53和核心FPGA可编程逻辑模块。
2）操作系统：linux 4.14.0
3）支持编程语言：C/C++/Python
4）内存：DDR4 2GB 或 DDR4 4GB两个版本。
5）存储：eMMC：8GB，TF Card：slot 16GB，max support 128GB，QSPI Flash：max 256Mbit
6）尺寸：80mm*70mm
7）视频输入接口：Support USB Camera(UVC),BT1120 Camera，MIPI CSI Camera。
8）视频输出接口：mini DisplayPort interface。
9）USB接口：USB3.0X1，USB2.0X1
9、摄像头2个，最大分辨率1920*1080，免驱动，像素200万，CMOS感光元件类型，支持Mac OS Windows 的操作系统，尺寸：36mmX36mmX34mm(带支架)。
|
套
|
|
|
设备要求
双目视觉无人机科创平台是一款功能强大的无人机综合平台，支持自主定位与导航、人工智能与神经网络、计算机视觉、图像识别、多传感器融合、飞行控制系统的二次开发，针对该系统公司已经研发一整套的软硬件解决方案：飞控系统软件开发系统，定位与导航、人工智能与神经网络、计算机视觉开发系统。用户可以快速上手，专注于自己的科研方向。
导航和定位、计算机视觉算法、飞控系统等相关程序均开源，方便用户深入验证自己的各类算法，希望为各科研院所，高校实验室在研究飞控和自主定位与导航方面贡献自己的力量。
系统组成
双目视觉无人机科创平台包含硬件系统和软件系统。硬件系统包含：机架、电机、电调、飞控系统、激光、光流、遥控器、智能数据处理平台、双目视觉、摄像头等。软件系统包含：飞控系统、飞控系统集成开发环境、智能数据处理平台开发系统等。
飞控系统为自研，纯国产化飞控系统，支持国产芯片，开发语言为C语言，基于国产实时操作系统RT-Thread所研发，飞控性能强大、稳定、可移植性强，二次开发容易，全开源。包含激光，光流，遥控器等。
智能数据处理平台系统为公司定制版Linux系统，无人机智能数据处理平台尺寸仅为8.3cm*4cm，极大的减轻了无人机的重量，处理器为Cortex-A72 (ARM v8) 64位 SoC 1.5GHz 4核，平台搭载4GB LPDDR4-3200 SDRAM内存，32G EMMC。支持2.4 GHz 和5.0 GHz IEEE 802.11ac 无线, 低功耗蓝牙 5.0, BLE板载天线。平台集成开发软件，使用Python语言进行编程。不需要在电脑安装软件，可以通过电脑浏览器直接wifi连接无人机智能数据处理平台开发环境。
无人机双目视觉技术参数：6 自由度数据，向前/向后、向上/向下、向左/向右、俯仰、滚动和偏航等运动。双鱼眼镜头OV9282 可视角163±5°。惯性测量单元：BMI055。视觉处理单元：VPU。USB3.1 Gen 1 Micro B。曝光方式: 全局曝光。
智能数据处理平台软件系统包含自主定位与导航、人工智能及神经网络，计算机视觉算法，图像处理算法等。
产品优势
1. 自研的国产化的飞控系统，开源。
2. 极易上手的开发环境，集成化的飞控开发IDE，飞控系统结构清晰，二次开发方便。
3. 智能数据处理平台软件系统集成到智能数据处理平台的操作系统上，用户无需安装，只需用户有一台连到wifi的电脑，通过用户电脑的浏览器打开，即可进行开发、调试、验证。
4. 功能完善。系统提供全套的硬件平台，仿真环境，开发环境及程序代码。用户极易上手。提供完善的开发框架和项目示例，用户拿到设备即可使用，搭建好环境，用户即可以验证飞控、计算机视觉、人工智能、slam算法等。
5. 紧贴无人机科研热点，包含飞行控制系统、计算机视觉、人工智能及神经网络，定位与导航等领域的最新技术。
实训项目
1. 无人机的姿态解算算法
2. 无人机的姿态控制算法
3. 无人机的位置控制算法
4. 飞控系统的自动控制算法
5. 飞控系统的多传感器融合
6. 飞控系统的光流控制算法
7. 无人机的自主定高定点
8. 无人机的惯性导航算法
9. 无人机的遥控飞行
10. 图像、视频处理算法
11. 模板匹配
12. 人脸识别实验
13. 图像轮廓实验
14. 稀疏光流、稠密光流实验
15. 二维码的识别算法
16. 人工智能与神经网络介绍应用之手写数字识别
17. 人工智能与神经网络应用之手写数字识别
18. Slam相关技术要点
19. 无人机VIO航点规划飞行
20. 无人机定位与导航飞行
自研飞控板
自研飞行控制系统：飞控系统ZFLY-MD-RT，基于国产实时操作系统RT-Thread，全开源，方便入门。支持MP地面站。
基于模型设计的飞控系统：国内首家基于自研飞控硬件，飞控系统支持基于模型设计，支持Matlab/Simulink算法生成代码，方便验证算法。
自研智能数据处理平台
自研智能数据处理平台开发系统
定制化地面站软件
二维码识别示例
神经网络数字识别示例
|
套
|
|
|
一、 系统要求
为了让学生更加便捷快速的训练和部署深度学习神经网络应用系统，公司推出了深度学习训练和部署软件工具，只需点击一些按钮，就能让用户实现从数据到模型的快速转换，软件实现了从数据导入到数据标注，到模型的选择，以及在训练过程中的模型的展示，再到最终的模型的导出，提供了一条龙一站式服务，软件内置了大量的分类和检测模型，以及提供了全套的基于大数据集的预训练模型，用户只要通过鼠标选择相应的模型，然后AI算法一切就交给实习训练和部署工具去做，用户可以在训练过程中查看训练效果，从而了解当前的训练状态，在训练过程中可以随时暂停训练，然后实时读取摄像头数据测试模型的精度和效果，及时了解当前模型的泛化能力，软件还支持模型的边缘端导出和部署，让模型可以运行在基于ARM的边缘端设备上，目前支持的边缘端设备有:树莓派，RK3399,Jetson TX2,Jetson nano, 同时软件预置了大量的预训练模型，用户可以直接调用这些模型去检测和识别目标，用户还可以基于这些预置的预训练模型快速训练出自己的模型，快速部署到自己的生产环境中。
二、 系统功能
步骤1、 数据导入
步骤2、 数据标注
1) 标注内容
步骤3、 模型选择
1) 摄像头实时视频/图片模式
2) 测试
步骤4、 训练展示
步骤5、 模型部署
1) 模型发送到硬件
三、 系统资源
1. 工具立足深度学习的工业化和商业化实践，设计出这一套深度学习教学软件，软件最直接的感受就是可以通过可视化的界面进行模型的训练，降低了深度学习的门槛，即使学生没有任何深度学习经验，也可以快速训练好一个应用模型。
2. 训练工具从深度学习的数据标注，到模型的训练调优，再到模型部署的每一个环节都可以通过可视化的UI界面与用户进行交互。
3. 界面支持用户通过鼠标进行操作，完成深度学习的整个过程，操作方便，效果直观。
4. 层次化、渐进式的理论知识学习。
5. 编程实验让学生逐步掌握深度学习：数学，算法、计算力，神经网络，自动化等知识。
6. 数据标注，模型训练，模型部署可视化。
7. 训练工具分为三阶段：初级体验阶段、学习编程阶段、设计项目阶段；
8. 初级体验阶段：直接通过简单拖拽的方式就可以快速训练自己的神经网络，体验到神经网络的奇妙，感受人工智能的神奇，软件界面上，通过直观的方式从左到右设置了数据导入，数据标定，模型训练，模型部署，模型仓库。
1) 数据导入：可以将数据一键导入，节省在数据准备上的时间。
2) 数据标注：直接通过鼠标方便快捷的对数据进行标定，训练工具自动把标定结果保存为模型需要的格式。
3) 模型训练：可以任意选择自己希望选择的模型进行训练调优。
4) 模型部署：可以通过导入图片或视频来测试自己训练好的模型。
5) 模型仓库：预制了大量训练好的神经网络模型，用户可不必训练就可以直接调用查看识别效果。
9. 学习编程阶段：学生对深度学习产生兴趣后，然后再进入更深一层的学习，提供丰富的编程实验，帮助学生进行掌握人工智能深度学习实验。
10. 设计项目阶段：学生完成上述两个阶段后，就能使用深度学习这个训练工具来完成一些具体的任务，同时又能进一步巩固学生学习到的知识，深度学习课程设计，通过构建一个深度学习模型来解决一个日常生活中的实际问题，让学生在实践中进一步深化对深度学习算法本质的理解，同时让学生真正掌握深度学习的核心本质，可以根据实际情况灵活调整模型参数，把知识真正用于生活中，而不是停留在理论层面上。
|
套
|
|
|
一、 产品概述
跟踪系统可以通过控制内部高速精准的多任务运算处理能力、人性化的操作界面以及多样化的视觉检测功能，解决在人员疲劳或疏忽造成的误判，避免人眼长时间关注形成视觉疲劳造成的各种疏忽，进一步提高关注精准度、降低对人员的依赖度，最大限度减少人工成本。
★目标分析功能、高分辨率摄像机、大倍率光学变焦镜头和高转速云台，可快速、准确自动捕捉到可疑目标。通过算法预置位跟踪位置，同时变焦放大获得目标特写信息。
二、 系统结构
1、 高速球机视频采集器
1) 最小照度：彩色:0.01 Lux @(F1.2,AGC ON)
2) 黑白:0.001Lux @(F1.2,AGC ON)
3) 快门：1秒至1/100,000秒
4) 镜头接口类型：C/CS接口
5) 自动光圈：DC 驱动(-P:支持P-Iris)
6) 日夜转换模式：ICR红外滤片式
7) 宽动态范围：120dB
8) 背光补偿：支持
9) 数字降噪：3D 数字降噪
10) 视频压缩标准：H.264/MPEG4/MJPEG
11) H.264 编码类型：BaseLine Profile/MainProfile/HighProfile
12) 压缩输出码率：32Kbps--16Mbps
13) 音频压缩标准：G.711/G.726
14) 音频压缩码率：64Kbps(G.711)
15) 最大图像尺寸：1280×960
16) 帧率：50Hz:25fps(1280×960),50fps(1280×720)；
17) 具有强光抑制功能
18) 具有电子消抖功能
19) 接口协议：ONVIF,PSIA,CGI,ISAPI,GB28181
20) 支持协议：TCP/IP；ICMP；HTTP；RTCP；
21) 通用功能：一键恢复,防闪烁,三码流,心跳,镜像,密码保护,视频遮盖,水印技术；
22) IP地址过滤功能
23) 3.5mm音频输入(Mic in/Line in)
24) 输出外部接口：1个内置麦克风
25) 10M/100M自适应以太网口
26) RS-485接口
27) RS-232接口
28) 报警输入：1路
29) 报警输出：1路
30) 视频输出：1Vp-p Composite Output（75Ω/BNC）
31) 环境噪声过滤：支持
32) 音频输入输出：支持双声道、立体声；
2、 ★分布式终端
1) 分布式分端显示；图像信息的切割；云台控制，数据的转换提取；预置位的设置；采集器设备列表；执行电机的控制；开启及撤消；特征抓取。
2) 数据方式与显示设置
3) 异常功能开启与屏蔽
4) 用户管理与权限分配
5) 为用户提供面向局域网和广域网的视频查看与数据共享功能。
6) ★具有分布式设计与模块化结构，C/S网络结构，人性化操作界面，基于网络的分布式视频数据查看，智能报警模式等多样且可灵活设置等功能。
3、 枪机视频采集器数量2个
1) 最小照度：彩色:0.01 Lux @(F1.2,AGC ON)
2) 黑白:0.001Lux @(F1.2,AGC ON)
3) 快门：1秒至1/100,000秒
4) 镜头接口类型：C/CS接口
三、 教学资源
1、 用户可通过学习，可以了解图像识别的使用方法和基本的数字图像处理原理，熟练掌握运动视频处理算法，达到能将复杂算法应用到工程项目中。
2、 ★电子变焦控制：目标还没有处于视场中心时，目标被放大之后就会超出视场范围。视场中心对准目标以后，目标质心与图像中心的距离小于阈值，镜头做缩放动作。算法通过面积作为判断是否需要镜头变倍的依据，跟踪目标面积小于阈值，镜头执行放大操作；目标面积大于阈值，执行缩小操作，控制电子镜头以标准速度进行电子缩小、放大动作。
3、 ★PELCO-P协议控制
1) 远程云台控制
2) 网络协议：IPv4/ HTTP,HTTPS, TCP/IP等外部接口。
3) 云台控制方向：右、左、上、下、右上、右下、左上和左下。
4) ★云台控制方式：运动目标走出视频中心区域开始转动，以使摄像机的成像中心轴移向目标；运动目标处于摄像机中心视场范围内，云台不转动。
5) 视频采集每一帧图像信息可以得到摄像头视场的中心位置，目标跟踪算法返回目标质心坐标。
4、 ★触发型运动跟踪识别
1) 中心端能够联动控制前端设备，进行视频数据的抓捕、摄像、联动、追踪、识别等动作；
2) 尺度过滤要求：监测模块能测定监测区中是否有物体经过并确定是否逆行。如交通中图像差分所产生的噪声、行人、自行车比汽车所占区域小很多，预设计尺度滤波器将尺度较小的物体及噪声滤掉，将差值图像二值化，物体所在区域像素点全标为1，背景点全标为0；设定适当的尺度阀值，把差值图像中面积小于A的区域滤掉。
3) 然后通过行人分类器进行检测获得行人的具体坐标信息
4) 识别分割模块要求：物体边缘是目标最基本的特征之一。要求物体运动边缘的检测可以检测出视频数据中的静止物体。
5) 运动跟踪：运动物体建模检测方法要求基于视频数据帧的处理，不能只停留像素级别上，必须要融合图像内容。
6) 要求算法能计算二维运动区域与运动目标三维模型的对应关系进行目标跟踪。能在二维运动的区域中计算与三维模型中线段的对应关系，判别运动区域是否与目标模型相匹配。
7) 匹配特征要求包括：位置、大小、形状、拐点、颜色等，并且这些特征能按照重要性进行权重组合来表示运动物体。
8) kalman滤波算法：用来提高运动跟踪效果。Kalman滤波算法要求不保存过去的测量数据，以减轻滤波装置的存储量和计算量，达到能实时高速行进中进行跟踪目标。
9) 才有优化后的动态目标跟踪算法可以有效稳定的进行目标跟踪。
10) ★算法能判别新目标的出现、旧目标的消失、暂时静止等情况。
11) 跟踪目标将要走出以视场为中心的圆形区域时，提取目标特征并保存，发送指令控制云台摄像机迅速转动，云台转动后使跟踪目标再次回到视场中心区域，以视场中心点为初始迭代点，计算目标新的位置，镜头变倍后，跟踪目标的大小也会随之发生变化，需要及时根据摄像机的变倍率调整目标的尺寸，完成对目标的持续跟踪。
12) ★模糊控制方法：应用系统中，被跟踪目标运动的随机性，很难用精确的数学模型来描述；因此，采用模糊控制的思想来实现对云台的控制，云台模糊控制策略的基本思路是：在目标跟踪算法中定位出目标的质心位置，以该位置与图像中心位置的偏差作为模糊控制的距离，将这个距离与预先设定的阈值进行比较，得出云台转动的模糊方位控制量，然后计算出云台转动的速度，之后控制云台，使其做间歇性转动，即：每转动一次，停下来计算当前帧中目标质心与视场中心点的距离，确定是否需要转动及转动的方向，重复这个过程，最终使摄像机视场中心对准目标，始终保持目标在视场范围内。云台的控制遵循TCP/IP协议，能发送开始转动、停止转动的命令来启动和停止转动；因此，在开始和停止命令间必须设置一个延时参数Δt，为云台预留时间来执行相应的动作。据此，云台控制包括摄像机方向控制和摄像机转速控制。
四、 AI图像感知项目
项目1 视频取流
项目2 球机控制
项目3 视频前景检测
项目4 行人运动跟踪
项目5 球机自动跟踪
|
套
|
|
|
1、 采用服务器架构，实现图像抓拍，以减轻视频在传输过程中对网络的压力；
2、 视频识别：提供图像算法源代码；
3、 焰火识别算法源代码、系统演示及操作；
4、 识别算法
5、 计算机视觉和模式识别技术是一项重要研究课题，它是以数字图像处理、模式识别、计算机视觉等技术为基础的智能识别系统，它利用每一个特定特征物体，通过摄像机所拍摄的图像进行建模识别。在不影响特征量姿态的情况下，计算机自动完成识别。针对识别算法的缺点和不足，例如识别率低、识别速度慢、定位不准确等，算法上基于小波分析进行改进定位算法，同时将引入动量因子的BP神经网络应用到字符识别，加快了网络的训练过程。
6、 通过摄像机采集到的图像是24位的真彩色图像，首先将图像进行灰度变换，转换为256色的灰度图。在局部图像内，焰火背景间的亮度反差形成明显而密集的边缘，上升缘与下降缘交替出现。利用这一高频特征，采用小波分析的多分辨率思想，进行水平方向上的小波变换，小波变换后的高频部分可以突出需要抓捕的区域，后继处理只需要对高频图像进行变换，即可定位出焰火区域。采用这种方法可以将运算量减少、缩短了定位的时间。
7、 视频流识别算法
8、 边缘计算网关；
9、 激光控制器；
10、 火焰演示点；
11、 高清像机；
|
套
|
|
|
一、 功能要求
该系统是根据各大高校的人工智能专业、电子类专业、交通类专业、车辆工程类专业、安防类专业的教学需要而设计开发的全新一代AIOT人工智能物联网智慧交通教学、科研实训系统。应用图像识别技术、传感感知技术、RFID无线射频技术、嵌入式控制技术、Zigbee无线通信技术、TCP/IP网络技术、视频采集取流等技术。每个子系统、每一个模块都有独立的实验做支撑，让学生能够由浅入深的去掌握这套系统的设计开发原理及构建过程，增加学生的科技兴趣及动手能力。
系统利用目前先进的车联网、人工智能图像算法、数据汇聚等技术，结合实际的智慧城市交通管网的落地经验，完整的体现未来国内全智能化的交通系统的发展方向，充分发挥了本专业的技术优势和好的就业前景，为未来实现车车联网、车路协同、路径自主规划、无人智能检测、联网智能控制等新技术实现提供有力的技术保障。
★系统组成：系统从基础技术到前进技术的应用一应俱全。包括多个子系统
1. 交通信号灯控制子系统
2. 智能公火灾检测子系统
3. ETC不停车收费子系统
4. AI机器视觉--车牌识别停车场管理子系统
5. Cortex-m4智能公交车
6. 物联网智能小车
AI智慧交通所涵盖的课程：《嵌入式应用技术》、《人工智能机器视觉技术》、《图像识别技术》、《传感器应用技术》、《RFID无线射频技术》、《运动控制技术》、《zigbee无线通信技术》、《TCP/IP网络技术》等专业课程。每个子系统、每一个模块都有独立的实验、实训做支撑，让学生能够由浅入深掌握整套系统的设计开发原理、系统搭建、程序设计的过程，增加学生的科技兴趣及动手能力。
特点：
1、 系统提供丰富的应用案例，从课程到实训，从简单到复杂，从单一技术点到大系统的应用设计。能满足让学生从零基础开始由浅入深，渐进式学习。学生通过学习各子系统的开发，熟练掌开发环境的使用、编程语音、嵌入式操作系统、嵌入式应用系统设计、AI人工智能。最终掌握从程序设计、软/硬件的联动控制等一整套实际应用项目的开发经验。
2、 采用贴合实际的应用方式，在实验搭建一套智慧交通的应用系统；
3、 整个系统中完整展示了AI在交通中的应用，上学生近距离感受到技术带给产业的生机；
|
套
|
|
|
1、 CPU：Intel silver 4110处理器；
2、 内存：64G DDE4，支持24个插槽；
3、 硬盘：支持8个3.5盘位，480G固态，2+8T硬盘；
4、 芯片组：英特尔C621；
|
套
|
|
