基于神经网络的2D摄像头手势交互游戏机设计 毕业论文+任务书+软硬件设计源文件

---

随着娱乐产业发展的日新月异，针对游戏互动问题，设计了一种基于神经网络的

2D 摄像头手势互动游戏机。游戏机采用模块化设计方法，使用 Kendryte K210 作为主控制器，用户在功能选择界面时能通过按键触发不同模式。除了接入 PS2 手柄畅玩传统 NES 游戏外， 游戏机还能加载已训练好的 MobileNet 卷积神经网络， 使用OV2460 摄像头获取图片数据并传给网络预测手势，进行猜拳互动。也可通过蓝牙解码模块接受外部信号，再经功放驱动喇叭播放音乐。实验结果表明：游戏机能过出色的完成三种功能模式，即 NES 游戏运行功能，猜拳互动判断输赢功能和蓝牙音箱播放功能。

关键词：Kendryte K210；神经网络；MobileNet；手势识别

With the rapid development of the entertainment industry, a 2D camera gesture interactive game machine based on neural networks is designed to address the problem of game interaction. The game machine adopts a modular design method, using Kendryte K210 as the main controller, and the user can trigger different modes by pressing keys when selecting the function interface. In addition to accessing the PS2 controller to play traditional NES games, the game console can also load a trained MobileNet convolutional neural network, use the OV2460 camera to obtain picture data and pass it to the network to predict gestures, and perform guessing interactions. It can also receive external signals through the Bluetooth decoding module, and then drive the speakers to play music through the amplifier. The experimental results show that the game console can perform three functional modes excellently, namely, the NES game running function, the guessing interactive judgment function, and the Bluetooth speaker playback function.

Keywords:Kendryte K210;Convolutional Neural Network;MobileNet;Gesture Recognition

目 录

摘要 I

Abstract II

1绪论 1

1.1研究背景及其意义 1

1.2国内外研究情况 2

2系统方案 4

2.1基本思路 4

2.2总体方案设计 5

2.3本章小结 6

3硬件设计 6

3.1控制器选型 6

3.2摄像头模块 8

3.3LCD 显示模块 9

3.4充电芯片选型 10

3.5蓝牙解码模块 11

3.6手柄选型 12

3.7D/A 芯片选型 12

3.8功放选型 13

3.9外壳设计 14

3.10本章小结 16

4软件设计 16

4.1开发环境与平台 16

4.2神经网络选取和训练 18

4.3界面设计 23

4.4程序设计 26

4.5本章小结 36

5系统调试 37

5.1摄像头模块调试 37

5.2LCD 显示屏调试 37

5.3充电芯片焊接与调试 38

5.4蓝牙解码模块调试 39

5.5D/A 芯片调试 40

5.6功放芯片调试 41

5.7外壳设计修改 41

5.8总体安装调试 42

5.9本章小结 43

6实验结果及分析 44

6.1功能选择测试 44

6.2NES 游戏测试 44

6.3猜拳模式测试 45

6.4蓝牙音箱测试 46

6.5本章小结 47

7总结与展望 48

7.1 总结 48

7.2 展望 48

参考文献............................................................................................................................错误！未定义书签。

致谢 50