《MYD-YA157C_MEasy+HMI软件开发指南V2.0.docx》由会员分享，可在线阅读，更多相关《MYD-YA157C_MEasy+HMI软件开发指南V2.0.docx（32页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、MEasy HMI 2.0开发手册四CGL.M丫IR Make Your Idea Real目錄前言01. MEasy HMI 2.0框架介绍12. MEasy HMI 2.0使用介绍22.1 主界面2.12.2 多媒体2.22.3 卫生医疗2.32.4 公共服务2.42.5 智能家电2.52.6 系统2.63. MEasy HMI 2.0应用开发33.1 环境搭建3.13.2 编译MEasy HMI 2.0应用3.23.3 运行MEasy HMI 2.0应用3.34. MEasy HMI 2.0应用集成04.1 AM335X系列开发板上集成MEasy HMI 2.0应用0.14.2 i.MX
2、6UL系列开发板上集成MEasy HMI 2.0应用0.24.3 STM32MP157系列开发板上集成MEasy HMI 2.0应用0.3附录A1附录B232MEasy HMI 2.0开发手册前言本文档主要讲述MEasy HMI 2.0的基本框架，并演示MEasy HMI 2.0在深圳市米尔电子有限公司(下文简称“米尔”)开发板上的运行，此外还进一步说明了MEasy HMI 2.0开发环境的搭建和源码的编译以及应用集成，以实例的形式讲述了如何在MEasy HMI 2.0框架的基础上开发更多的应用。本文档适合有一定开发经验的嵌入式linux开发工程师，QT开发工程师。版本历史:版本号描述时间V1
3、.0初始版本2020.5.1硬件版本:本文仅档适用于米尔AM 335X,i.MX6UL,STM 32MP157系列开发板，具体信息以相应产品的发布包为准。注意: 开发板Linux系统默认的root账户密码为空。1. MEasy HMI 2.0框架介绍MEasy HMI 2.0是深圳市米尔科技有限公司开发的一套基于QT5的人机界面框架。项目采用QML与C+混合编程，使用QML高效便捷地构建UI，而C+则用来实现业务逻辑和复杂算法。根据应用的类型我们将整个UI分为五个大类：多媒体，智能家电，卫生医疗，公共服务，系统。每个类下面又包含不同小类，针对每个小类我们实现了相应的应用。如图1-1所示。图1-
4、1 MEasy HMI 2.0结构框图2. HMI 2.0使用介绍本节主要介绍MEasy HMI 2.0中每个APP的使用及使用过程中注意的细节。软件环境： u-boot linux-4.x.x 带QT5运行环境的文件系统 MEasy HMI V2.0应用程序硬件环境： M Y-TFT070CV2电容屏/HDM I显示屏 MYIR AM 335X, i.MX6UL, STM 32MP157系列开发板默认出厂程序只支持LCD显示和HDMI显示，用户选择使用LCD还是HDMI，需要根据对应板卡的文档进行设置。硬件连接方式:表2-1 开发板显示屏接口开发板LCD接口MYD-C335X-GWJ14 L
5、CDMYD-Y6ULXJ3 LCDMYS-6ULXJ8 LCDMYD-YA157J18 LCD /J10 HDMI2.1 主界面主界面提供两种显示模式，一种是基于PathView实现的轮播显示，另一种是基于SwipeView实现的9宫格显示。界面说明：图2-1-1 轮播显示标注1为中英文选择按钮标注2为应用选择按钮标注3为主界面轮播显示和9宫格显示切换按钮标注4为联系我们界面。图2-1-2 9宫格显示图2-1-3 9宫格显示图2-1-4 联系我们界面测试步骤：1. 如需英文显示，点击标注1的Englsih按钮，进入英文显示界面，再次点击切换为中文。2. MEasy HMI 2.0启动后默认进入
6、轮播显示页面，左右滑动即可进行应用类别切换，点击标注2里面的应用按钮即可进入相应的应用。3. 点击标注3的按钮进入9宫格显示，在9宫格显示页面点击此按钮回到轮播显示。4. 点击标注4的区域可进入联系我们界面，在此界面点击左上角的闪动按钮才可以退出联系我们界面。2.2 多媒体本章节演示如何使用MEasy HMI 2.0中的多媒体应用来控制开发板进行摄像头画面采集/拍照，视频播放，音乐播放，图片浏览等功能，详情请参考源码。软件环境： 摄像头应用 播放器应用 音乐应用 图片应用硬件环境： 支持MEasy HMI 2.0的MYIR开发板一块 USB摄像头一个界面介绍：图2-2-1 摄像头应用界面注意：
7、开发板接了USB摄像头会自动显示摄像头采集的画面。图2-2-2 视频播放器界面注意：开发板预存的视频文件位于开发板/usr/share/myir/Video目录，打开视频播放器应用后会自动选择一个视频文件，用户可以自行向此目录添加视频，建议视频分辨率不要大于480p，否则会引起播放卡顿。图2-2-3 音乐播放器界面注意：开发板预存的音频文件位于开发板/usr/share/myir/Music目录，打开音乐播放器应用后会自动选择一个音频文件，用户可以自行向此目录添加音频文件。部分开发板没有音频芯片，所以无法听到声音。图2-2-4 图片浏览器界面注意：开发板预存的图片文件位于开发板/usr/sha
8、re/myir/Capture目录，用户可以自行向此目录添加图片文件。测试步骤：摄像头应用 将USB摄像头插入开发板USB接口，然后进入摄像头应用。 主界面点击摄像头应用进入摄像头界面后可以看到摄像头实时的画面输出，点击下面的原点按钮可以拍照。 打开右上角的所有照片按钮即可浏览拍照好的图片。 点击左上角的返回按钮可退出摄像头应用。播放器应用 主界面点击播放器应用进入播放器界面，默认会选取一个预存的视频。 点击中间播放按钮，开始视频的播放，再次点击暂停视频播放。 点击底部按钮，可进行快进，快退，暂停，停止，播放上一个，播放下一个这些操作。 点击右上角的打开文件，可进去视频列表选择。 点击左上角的
9、返回按钮可退出播放器应用。音乐应用 主界面点击音乐应用进入音乐界面，默认会选取一个预存的音频文件。 点击底部按钮，可进行快进，快退，暂停，停止，播放上一个，播放下一个这些操作。 点击右上角的打开文件，可进去视频列表选择。 点击左上角的返回按钮可退出音乐应用图片应用主界面点击图片应用进入图片界面，可看到预存图片的缩略图。点击一个缩略图，图片将会放大进行全屏显示，点击左右箭头按钮即可切换图片。点击右上角所有图片按钮，可回到缩略图显示。点击删除图片按钮可对图片进行删除。在缩略图界面，点击右上角的打开文件，可进入预存图片的路径。点击左上角的返回按钮可退出音乐应用2.3 卫生医疗本章节演示如何使用MEa
10、sy HMI 2.0中的卫生医疗中的心电仪应用进行心电波形绘制，ECG，NIBP, SPO2, RESP, TEMP等参数的动态显示，详情请参考源码。软件环境: 心电仪应用硬件环境： 支持MEasy HMI 2.0的MYIR开发板一块界面介绍：图2-3-1 心电仪界面 界面左侧为心电波形动态绘制区域。 界面右侧为ECG,NIBP,SPO2,RESP,TEM P等数据的动态显示区域。测试步骤：主界面点击点心电仪应用进入心电仪界面。界面左侧的心电波形会动态进行绘制。界面右侧的ECG,NIBP,SPO2,RESP,TEM P等数据每隔一秒刷新一次。点击右上角的退出按钮可退出心电仪应用。2.4 公共服
11、务本章节演示使用MEasy HMI 2.0中的公共服务类别下面的取票机应用来模拟进行取票的过程，详情请参考源码。软件环境: 取票机应用硬件环境： 支持MEasy HMI 2.0的MYIR开发板一块界面介绍：图2-4-1 取票机界面图2-4-2 出票成功界面图2-4-3 出票失败界面注意： 1.默认取票码为MYIR2020测试步骤：主界面点击取票机应用进入取票机界面。点击屏幕上的软键盘，输入取票码myir2020，输入完成后点击确认取票。取票码输入正确就会弹出票成功的动画，15秒后自动退出，也可点击右上角按钮退出。取票码输入错误会弹出出票失败的动画，10秒后自动退出，也可点击右上角按钮退出。通过
12、外接扫码枪，扫描条码模拟取票。点击左上角的按钮退出取票机应用。2.5 智能家电本章节演示使用MEasy HMI 2.0中的智能家电类别下面的洗衣机应用来模拟洗衣机的操作过程，详情请参考源码。软件环境: 洗衣机应用硬件环境： 支持MEasy HMI 2.0的MYIR开发板一块界面介绍：图2-5-1 洗衣机应用界面 标注1为洗衣机的洗衣模式选择区域，可直接点击对应的模式，也可通过滑动中间的旋钮来进行选择模式。 标注2为洗衣机的洗衣模式对应的洗衣参数，此部分不可操作，根据洗衣模式自动选择。 标注3为洗衣机开始工作的按钮，点击之后进入正在洗衣界面，再次点击停止洗衣返回到洗衣主界面。图2-5-2 正在洗
13、衣界面测试步骤：主界面点击洗衣机应用进入洗衣机界面。通过标注1所在区域选择一个洗衣模式，然后点击标注3的启动按钮，进入洗衣模式，再次点击启动按钮即可退出洗衣模式。在洗衣机应用界面点击退出按钮可退出洗衣机应用。2.6 系统本章节演示使用MEasy HMI 2.0中的系统类别下面的系统信息，系统设置，文件管理器。通过系统信息应用可以来查看系统基本信息，网络信息，版权信息。通过系统设置应用可以设置系统时间和日期，网络的ip、netmask、gateway、dns，wifi的开关、扫描、连接、断开。通过文件浏览器应用来浏览开发板的文件系统目录。软件环境: 系统信息应用 系统设置应用 文件浏览器应用硬件
14、环境： 支持MEasy HMI 2.0的MYIR开发板一块界面介绍：系统信息图2-6-1 基本信息界面图2-6-2 网络信息界面图2-6-3 版权信息界面系统设置图2-6-4 时间设置界面图2-6-5 以太网设置界面图2-6-6 WIFI设置界面文件浏览器图2-6-7 文件浏览器界面测试步骤：系统信息 点击主界面系统信息应用进入系统信息界面，默认会显示基本信息的界面。 选择左侧导航栏的网络信息，版权信息，可切换进入网络信息，版权信息的界面。 点击左上角的返回按钮可退出系统信息界面。系统设置点击主界面系统设置应用进入系统设置界面，默认会显示时间设置的界面。选择左侧导航栏的以太网设置，wifi设置
15、可切换进入以太网设置界面，wifi设置界面。在时间设置界面通过选择框选择想要设置的时间和日期，然后点击保存按钮，时间和日期就会设置到系统，日历需要退出系统设置应用再次进入才会被刷新。在网络设置界面点击ip地址、子网掩码、网关、dns输入框会弹出软键盘，软键盘只能按照IPV4的格式进行输入，否则输入无效。在wifi设置界面点击右上角的滑动开关，可开启wifi,并自动扫描附近的wifi热点并显示到界面。点击连接按钮前需要通过密码输入框输入密码，没有设置密码的wifi可以直接连接。 点击左上角的返回按钮可退出系统设置界面。文件浏览器点击主界面文件浏览器应用进入文件浏览器界面。点击文件夹图片可进入下一
16、级目录，点击 Open File or Project 然后弹出如图3-2-1 选择框，进入mxapp2工程目录，点击 mxapp2.pro 并点击 Open 按钮即可打开mxapp2这个工程。图3-2-1 工程选择框打开工程后进入配置页面，选择编译工具链，这里直接选择3.1章配置好的kits，点击 Configure Project 按钮然后进入工程目录。图3-2-2 配置kits进入mxapp2工程后即可看到整个工程的目录结构，如图3-2-3所示。然后可以对工程进行编译了，编译之前可以选择下编译输出的模式，这里我们选择Release模式，然后可以选择右下角小锤子图标进行编译整个工程，或者通
17、过点击菜单栏 Build - Build Project mxapp2 ,进行编译整个工程。图3-2-3 工程目录编译过程会可以从底部Table栏 4 Compile Output 中看到，如图3-2-4所示。图3-2-4 编译输出编译中出现的错误和警告信息可以从底部Table栏 1 Issues 中看到，如图3-2-5所示。如果编译出错可以从这里输出来进行分析问题。图3-2-5 问题输出3.3 运行MEasy HMI 2.0应用本章节主要讲述MEasy HMI 2.0的运行过程。编译完成后可以将编译完成的程序上传至开发板进行运行，这里提供两个方法将程序上传至开发板。注意：因各板卡的配套使用的
18、qt creator版本不同，可能会存在图片和你当前使用qt creator界面不同。本章节下面所有图片取自qt Creator 4.8 配套使用的MYD-C335X-GW开发板的编译环境。方法一：通过配置Qt Creator直接上传运行 配置Qt Creator的远程设备通过选择菜单栏 Tools - Options - Devices 进入Devices类型选择页面，选择Devices然后在这个页面点击右上角的 Add. 按钮，进入设备类型选择，选择Generic Linux Device。图3-3-1 创建设备点击 Start Wizard 按钮，进入设备配置页面，按照下图进行配置，IP
19、地址需要登录到板子上进行查看，配置完成点击 Next 按钮，会自动进入设备连通性测试。图3-3-2 配置设备如果上述步骤已完成，下面步骤只是针对IP地址改变的时候进行操作。通过选择菜单栏 Tools - Options - Devices 在Device中选择 myir (default for Generic Linux) ，在Type Specific栏输入开发板IP（需要通过串口登录到开发板查看）、用户名，不需要填写密码。如图3-3-3所示。图3-3-3 修改配置 测试远端设备连通性输入完毕后点击 Apply 按钮，然后点击右侧 Test 按钮会自动弹出测试连接的窗口当出现Device
20、test finished successfully.字样意味着测试连接成功。如图3-3-4所示。图3-3-4 设备测试指定运行的程序测试连接成功后，返回到Qt Creator的主界面，要指定你运行的程序，选择需要Run的程序为mxapp2。如图3-3-5所示。图3-3-5 选择需要运行的程序指定程序运行的参数和环境变量Run在MYD-C335X-GW开发板上运行需要此步骤，其他平台的运行参数和环境变量设置参考对应的应用集成章节。Build & Run指定完需要运行的程序以后，还需要指定程序的运行参数，依次点击左侧 Projects - mxapp2 - myir -下拉到Run配置栏，在Co
21、mmand line arguments输入框写入 -plugin tslib:$TSLIB_TSDEVICE ,即完成了程序运行参数的指定。如图3-3-6所示。Run图3-3-6 程序运行参数Build & Run指定完需要运行的程序以后，还需要指定程序的运行环境变量，依次点击左侧 Projects - mxapp2 - myir -下拉到RunEnviroment配置栏，点击Details按钮，再点击add按钮，依次添加下列环境变量。添加完成可以使用 Fetch Device Enviroment 按钮来验证。如图3-3-7所示。 带GPU平台的环境变量设置QT_QPA_EGLFS_INT
22、EGRATION=none QT_QPA_EGLFS_PHYSICAL_HEIGHT=120 QT_QPA_EGLFS_PHYSICAL_WIDTH=200 QT_QPA_EGLFS_TSLIB=1QT_QPA_PLATFORM=eglfs QT_WAYLAND_SHELL_INTEGRATION=xdg-shell-v5TSLIB_TSDEVICE=/dev/input/event0图3-3-7 带GPU平台的程序运行环境变量不带GPU平台的环境变量设置QMLSCENE_DEVICE=softwarecontext QT_QPA_PLATFORM=linuxfb TSLIB_TSDEVICE
23、=/dev/input/event0图3-3-8 不带GPU平台的程序运行环境变量杀掉开发板上正在运行的mxapp2程序指定完运行的参数以后，还需要登录到开发板，杀掉当前运行的MEasy HMI 2.0相关程序，操作如下：# killall mxapp2 上传程序到开发板并运行点击左下角的运行按钮，或者点击菜单栏 Build - Run 就可以将mxapp2上传至开发板并运行。7寸屏幕上可以看到MEasy HMI 2.0的界面，运行调试信息可以在 3 Application Output 中看到，如图3-3-9所示。图3-3-9 程序输出方法二：直接拷贝编译好的程序到开发板点击左侧 Proje
24、cts 按钮,可以看到工程的编译配置，General栏中Build directory显示的就是mxapp2工程编译输出的路径，可以从这里直接把程序拷贝到开发板中。如图3-3-10所示。图3-3-10 工程编译输出# source /etc/qt_env.sh#./mxapp2 -plugin tslib:$TSLIB_TSDEVICEQStandardPaths: XDG_RUNTIME_DIR not set, defaulting to /tmp/runtime-root qml: index=0qml: currentIndex=0 qml: index=0 net_status 1l
25、ibpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB pro
26、file libpng warning: iCCP: known incorrect sRGB profile打开编译输出目录，可通过网络、U盘、SD卡拷贝mxapp2这个应用程序到开发板。运行方法如下：在MYD-C335X-GW开发板上运行需要指定环境变量和运行参数，通过下面命令进行操作。其他系列开发板直接按照下面参数进行运行。# ./mxapp2qt.qpa.input: X-less xkbcommon not available, not performing key mapping qml: index=0qml: currentIndex=0 qml: index=0 net_st
27、atus 1libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect s
28、RGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile libpng warning: iCCP: known incorrect sRGB profile4 MEasy HMI 2.0应用集成在前面的章节中我们介绍了如何构
29、建MEasy HMI 2.0的运行时环境，编译环境，开发过程。本章将重点介绍如何将MEasy HMI 2.0应用集成到目标板系统当中，使之开机就能启动。AM 335X系列开发板上使用的是Buildroot来生成文件系统。i.MX6UL系列开发板和STM 32MP157系列开发板使用的是Yocto来生成文件系统。关于 MEasy HMI 2.0应用集成参考对应章节。4.1 AM335X系列开发板上集成MEasy HMI 2.0应用MEasy HMI 2.0在MYD-C335X-GW开发板上运行需要包含mxapp2应用程序、QT5运行库、eglfs库、字体文件、音视频以及图片等资源文件。这些资源文
30、件最终都由Buildoot整合为文件系统。Buildroot中包含由MYIR提供的预存文件和由Buildroot编译生成的文件。由MYIR提供的文件放在 myir-buildroot/board/myir/common/HMI2.0 目录下面。 etc modules-load.myir postboot network interfaces qt_env.sh home myir mxapp2 usr lib fonts msyh.ttc share myir Capture image1.png image2.png image3.png image4.jpg image5.jpg ima
31、ge6.jpg ecg.dat Music Ascended Vibrations.mp3 Born a Stranger.mp3 John Dreamer - Rise - Epic Music.mp3 Nuvole Bianche.mp3 resp.text Video HistoryOfTIAV-480p.mp4 HistoryOfTIAV-WQVGA.mp4 HistoryOfTIAV-WVGA.mp4以上这些文件都会buildroot在编译过程中执行 myir-buildroot/board/myir/myd_c335x_gw/post-build.sh 脚本拷贝至目标文件系统。.i
32、f grep -Eq BR2_PACKAGE_MEASY_HMI2.0=y$ $BR2_CONFIG; then echo include measy_hmicp -a board/myir/common/HMI2/* output/targetelseecho not include measy_hmi2.0fi.由buildroot生成的文件都在myd_c335x_gw_hmi2.0_defconfig里面被配置，编译结束后输入到 myir-buildroot/output/target 目录。最终由buildroot根据配置生成各种文件系统位于 myir-buildroot/output
33、/images 目录。在buildroot目录执行下面两行命令即可完成目标板运行MEasy HMI 2.0文件系统的编译。make myd_c335x_gw_hmi2.0_defconfig make第一次编译比较耗时间，编译完成后参考MYD-C335X-GW Linux 4.14.67开发手册.pdf的第6章烧写将文件系统烧写到开发板。4.2 i.MX6UL系列开发板上集成MEasy HMI 2.0应用当前版本未发布。4.3 STM32MP157系列开发板上集成MEasy HMI 2.0应用MEasy HMI 2.0在MYD-YA157C系列开发板上运行需要包含mxapp2应用程序、QT5运
34、行库、eglfs库、字体文件、音视频以及图片等资源文件。这些资源文件最终都由yocto整合为文件系统。yocto中包含由MYIR提供的预存文件和由yocto编译生成的文件。由MYIR提供的文件放在layers/meta-myir-st/recipes-app/qt-demo目录下面： qt-demo Capture image1.png image2.png image3.png ecg ecg.dat resp.text files iwconfig iwevent iwgetid iwlist iwpriv iwspy fonts msyh.ttc lib libiw.so.29 Musi
35、c Born a Stranger.mp3 The promise.mp3 mxapp2 myir.service start.sh Video ST2297_visionv34.mp4 qt-demo.bb以上文件在会使用yocto构建方式编译进带QT库的文件系统中，请查看“MYD-YA157C Linux软件开发手册”的第4.5.2章了解详细的构建步骤。 构建方法如下：DISTRO=openstlinux-eglfs MACHINE=myir source layers/meta-myir-st/scripts/envsetup.sh bitbake myir-image-qt -k第一次
36、构建时间很长，请耐心等待。构建完成后即可生成带MEasy HMI 2.0应用的文件系统，将系统烧录到开发板即可，烧录步骤请查看“MYD- YA157C Linux软件开发手册”的第9章，这里不做描述。 MEesy HMI2.0 是使用systemd来管理启动脚本，开机即可启动myir.service服务，myir.service启动/usr/bin/start.sh脚本，start.sh脚本会配置HMI的运行环境和启动mxapp2程序。 myir.service服务：UnitDescription=myir hmi v2.0 After=myd-ya157c.service ServiceTy
37、pe=forkingExecStart=/bin/sh /usr/bin/start.sh start InstallWantedBy=multi-user.target Alias=myir.servicestart.sh启动脚本：#!/bin/sh -eecho start myir HMI 2.0.export QT_QPA_EGLFS_ALWAYS_SET_MODE=1export QT_QPA_EGLFS_KMS_ATOMIC=1export QT_QPA_EGLFS_KMS_CONFIG=/usr/share/qt5/cursor.json psplash-drm-quitstrA=$(cat /sys/firmware/devicetree/base/compatible) strB=ya157cresult=$(echo