《基于情感图像检索系统的设计与实现毕业设计论文(36页).doc》由会员分享，可在线阅读，更多相关《基于情感图像检索系统的设计与实现毕业设计论文(36页).doc（36页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、-基于情感图像检索系统的设计与实现毕业设计论文-第 19 页西 安 邮 电 大 学 毕 业 设 计（论 文）题 目： 基于情感图像检索系统的设计与实现 院 （系）： 计算机学院 专 业： 计算机科学与技术 班 级： 计科1004班 学生姓名： 任宁宁 导师姓名： 刘伟 职称： 副教授 起止时间： 2013年09月25 日至2014 年 06 月 02日 毕业设计（论文）诚信声明书本人声明：本人所提交的毕业论文基于情感图像检索系统的设计与实现是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的文献、数据、图件、资料均已明确标注；对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式
2、注明并表示感谢。本人完全清楚本声明的法律后果，申请学位论文和资料若有不实之处，本人愿承担相应的法律责任。 论文作者签名： （签字）时间： 年 月 日指导教师签名： （签字）时间： 年 月 日西 安 邮 电 大 学毕 业 设 计 (论文) 任 务 书学生姓名： 任宁宁 指导教师： 刘伟 职称： 副教授学院： 计算机学院 专业： 计算机科学与技术 题目： 基于情感图像检索系统的设计与实现 一、任务与要求图像中含有情感信息，不同的图像会唤起人类不同的情感。将图像情感语义特征应用到图像检索中，使图像检索的结果更加符合人类对图像的自然描述、理解和需求，是一个有着学术和应用价值的问题。本题目是基于内容的图
3、像检索（CBIR）应用系统的设计，目标是用Matlab（或其他开发平台，如C#、Java）开发出能够满足用户提出的情感色彩检索要求的检索算法以及对应的图像检索实验平台。通过本设计可以较为熟练的掌握图像处理程序设计方法，并对图像处理和图像检索技术有一定的了解。具体的任务包括：（1）根据所给的情感数据库以及自行从因特网上下载的图像构造一个实验数据库，数据库中包含经过若干被试主观评估、打分整理后的情感语义图像（数据库中包含“静感”和“动感”两类语义图像）。（2）采用“线条方向直方图”作为特征描述情感语义（“静感”和“动感”两类语义）。（3）采用K-NN和BP神经网络用于图像语义分类。（4）设计出情感
4、图像检索原型系统。 要求开发出的程序满足正确性和执行效率的要求，并在上述（1）中构建的图像数据库上完成计算机算法验证实验。要求同学完成毕业设计后应提交相应的毕业设计文档（如毕业设计论文等）以及可在Windows平台下运行的情感图像检索原型系统程序。二、参考资料1 Rafael C. Gonzalez 等著，阮秋琦等译. Digital Image Processing（中文版名：数字图像处理）M. 北京：电子工业出版社，2003.2 Kherfi M L，Ziou D，Bernardi A. Image Retrieval From the World Wide Web：Issues，Tech
5、niques，and SystemsJ. ACM Computing Surveys，2004，36（1）：35-67. 3 章毓晋. 基于内容的视觉信息检索M. 北京：科学出版社，2003. 4 庄越挺等著. 网上多媒体信息分析与检索M. 北京：清华大学出版社，2002. 5 刘伟. 图像检索中若干问题的研究D. 杭州：浙江大学，2007. 6 王上飞，王煦法. 图像情感检索研究的进展与展望J. 电路与系统学报，2005，10（4）：102-110.7 王伟凝，余英林. 图像的情感语义研究进展J. 电路与系统学报，2003，8（5）：101-109. 8 王伟凝，余英林，张剑超. 基于线条方
6、向直方图的图像情感语义分类J. 计算机工程，2005，31（11）：7-9.三、主要仪器及材料所需硬件设备为安装有Windows XP及以上操作系统的台式计算机一台。该计算机安装有Matlab 2008或以上版本软件（或其他开发平台软件）、Microsoft Word字处理软件（或具有相似功能的其他软件）、ACDSee图像浏览软件（或具有相似功能的其他软件）。四、 工作计划（时间进度）1) 2013年10月9日-12日：开始选题，制订计划。 2) 2013年10月12日：启动科研训练，明确要求。 3) 2013年10月1日-27日：课题调研，文献查阅，完成开题报告。4) 2013年10月30日
7、前各专业负责人审查本专业指导教师的任务书。5) 2013年11月1日-8日：完成开题报告的撰写工作、准备开题报告答辩工作6) 2013年11月7日：开题报告答辩。7) 11月15日前（第十二周）学生将开题报告（定稿）上传至毕设管理系统中。8) 2013年11月2日-下学期开学前两周：准备资料，迎接中期检查。9) 2014年3月13日：中期检查。10) 2014年3月13日-2014年5月28日：毕业论文的设计与实现。11) 2014年5月30日：毕业论文查重。12) 2014年6月4日：终期验收。13) 2014年6月11日：毕业设计答辩。西安邮电大学毕业设计(论文)开题报告 计算机学院 院（
8、系） 计算机科学与技术 专业 10 级 04 班课题名称： 基于情感图像检索系统的设计与实现 学生姓名： 任宁宁 学号： 04101118 指导教师： 刘 伟 报告日期： 2013年11月02 日 1.本课题所涉及的问题及应用现状综述随着计算机技术和网络技术特别是因特网技术的发展，以及近年来消费型电子产品（如数码相机、带拍照功能的手机、电子摄像机等）的普及，使得数字图像等多媒体数据的规模急剧膨胀，每天都有巨量的数字图像产生、发布和共享。如何从浩如烟海的图像信息中及时、高效地寻找所需要的图像成为一个需要迫切解决的问题。基于内容的图像检索问题正是在这样一个背景下提出。目前的商用Web图像搜索引擎，
9、如Google和百度都是采用和文本搜索类似的技术路线，即采用Web网页中与图像关联的文字信息（即图像标签文字）来完成搜索任务。这样的方法带来的问题是：（1）搜索精度有限。因为和用户输入的关键字匹配的网页图像标签文字并不一定能很好地描述图像本身的“内容”；（2）无法实现“以图搜图”功能。即根据图像而不是文字来搜索图片。“以图搜图”功能具有重要的应用价值。基于内容的图像检索（content-based image retrieval，CBIR）是有望解决上述问题的关键技术。图像检索是属于图像分析的一个研究领域。其目的是在给定查询参数（如查询图像）的前提下，依据内容信息或指定查询标准，在图像数据库中
10、搜索并查找出符合查询条件的相应图像。 心理学研究表明，图像中含有情感信息，不同的图像会唤起人类不同的情感。如何有效地模拟人观察图像后所引起的情感感觉，并使用带有感情色彩的语义表述图像，是一个具有很大挑战性的前沿课题。“动感”和“静感”是一对人类常有的情感，本设计使用图像的低层特征来对艺术图像进行“动感”和“静感”的分类，并在此基础上实现情感图像检索，这是一个有益的探索工作。而当今的绝大多数基于内容的图像检索系统主要是对图像的多维物理特征进行相似性匹配查询，对于用户的爱好、情感等主观或感性化的因素考虑较少。因此我们引入了情感计算这个概念，情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情
11、感的能力来建立和谐的人机环境。另一方面，视觉信息是人类从客观世界获得信息的主要来源，人向外界获取的信息中，视觉成分约占总数的80%，图像则是视觉感知的结果和表现形式。随着多媒体技术的迅速发展，数字图象处理中的一个重要研究方向是使计算机能够模仿人的感觉和需求来处理和理解图像。因此情感图像检索将从用户的情感需求出发，探索高层次的用户情感和低层次的图像特征之间的联系，建立交互式动态的情感图像检索模型。目前情感图像检索主要涉及以下四个方面的研究内容：1）定义图像的感性特征（图像元数据），即抽取图像中较容易引起用户情感变化的特征；2）定义用户情感信息的描述方式（印象语元数据），即用户用来表达心理的形容词
12、（也称为印象语，Impression Words）在计算机中的处理和表达方式；3）计算图像感性特征与用户情感需求之间的语义相关性，即建立用户高层次的情感信息和图像低层次的感性特征之间的联系，也即建立情感用户模型（Affective User Model）；4）通过学习机制，根据用户的不同，自适应调整情感用户模型，提高检索的准确性，即个性化情感用户模型。 在图像检索系统的早期应用有日本的“Art Museum”和“IQI系统”，能够使用印象词（impressionwords）如（自然的、优雅的、华丽的等）检索图画；最近的Bianchi-Berthouz的K-agent图像检索系统，比一般的系统更
13、注重用户的情感需求；还有Chile大学正在研制的TEXRET系统，希望使用类似人类感觉的定性描述来检索纹理图像21；意大利的Colombo等还在图像情感研究的基础上，还进行了视频图像的语义检索研究，用于广告、电视等视频检索5。 除此之外， 图像的情感研究在设计系统中也得到了应用，日本色彩与设计研究所推出的Image Analyst LE系统，能根据用户的性别、年龄、职业及用户性格的调查，运用已有的颜色研究成果，找到的适合用户的风格（如自然的netural、优雅的elegant、别致的chic）和色彩搭配（米黄、草绿、浅褐色、浅灰等），最后给出用户所需的服装、居住环境、消费用品的颜色设计方案；南
14、京航空航天大学苑寅秋根据配色方案评判模型以及色彩情感效应的量化研究，将针对机电产品色彩构成，本着“回归人本”的现代设计主题，将专家系统技术引入到几点产品色彩设计领域，研制了面向机电产品的色彩设计专家系统（MCSES），实现了推荐配色方案及方案预览功能。北京航空航天大学的陈斌证明了图象的分形维数与情感特性具有一定关系，并根据这种关系，提出了用计算机自动产生和谐分布图案的算法。2.本课题需要重点研究的关键问题、解决的思路及实现预期目标的可行性分析(1)情感图像检索的背景、目的和意义；(2)情感图像数据库的构建；实验收集中了包括油画、水粉画、中国画等在内的彩色艺术图像200 幅，请5 位年龄在202
15、5 岁的男女大学生参与，每人都对图像的动感作出评估，将图像分别用0，1，2 表示，其中0 表示“静感”图像，2 表示“动感”图像，而1 表示中间类，表示图像介于静感和动感之间，我们在试验中将1类从图像库中去除。最后得到若干幅图像，其中“静感”类图片若干张，“动感”类图片若干张。这些实现起来工作量比较大，需要细心认真，总体来时比较容易构建。（3）“线条方向直方图”算法的设计与实现； 动感和静感是一对人类常有的情感，根据线条与图像动感感觉之间的联系，使用图像的低层特征来对艺术图像进行“动感”和“静感”的分类，采用了改进的边缘方向直方图作为特征，并使用概率神经网络（PNN）进行分类，达较高的准确率，
16、是对图像情感语义分类研究的有益探索。Jain 等人提出的边缘方向直方图方法，使用canny 算子（1，高斯滤波器宽度4）对图像进行边缘检测，得到的边缘图像中每个边缘像素都具有一个梯度模值M(x,y)和一个方向梯度相角值(x,y)： (1) 其中，(-90,90)，而边缘像素点的方向梯度相角与该点的边缘线条方向垂直，所以线条方向为： (x, y) = (x, y) + 90，(0,180)。 在计算直方图矢量之间的距离时，我们使用了欧式距离度量，如式(2)所示： (2)图像人工分类结果表明，具有较多垂直线条的图像与具有较多水平线条的图像一样都给人以宁静的感觉，进行分类的依据是不同图像的直方图向量
17、之间的距离，根据分类的原则，同类向量之间的距离应该较小，异类向量之间的距离应该较大，即类内距离要小，类间距离要大。对于不符合分类的要求，有必要对直方图进行修正。（4）K-NN、BP神经网络分类器的设计与实现；神经网络（NN，neural network）是在现代神经科学研究成果的基础上提出来的，是对人脑动能的若干特性的简化、抽象和模拟的数学模型。神经网络由许多具有非线性映射能力的神经元组成，神经元之间通过权系数相连接，其信息分布式存储于联接权系数中，使网络具有很高的容错性和鲁棒性，这一特点使得其具有能够解决模式识别问题的潜力，人工神经网络所提供的学习能力，大大放松了传统识别方法所需的约束条件，
18、使其对某些识别问题显示出极大的优越性。余英林等就采用BP神经网络方法对图像的的纹理的特征进行分类取得了良好的效果，还对基于模糊感知器的模糊神经分类器进行过详细的讨论。做为一种建立非线性映射的一个强有力的工具，神经网络方法在图像情感研究中得到了广泛的应用。Jinsub建立了基于多层反馈神经网络的彩色图案的情感评估系统，显示出比前人的线性系统评估结果更高的准确率。Hayashi使用了反向传播规则的神经网络来建立图像特征与印象词间的联系，达到了78.8%的准确率。搞懂K-NN算法设计，仔细思考算法细节问题，以及各种实际中遇到的问题。完成本课题的工作方案3.本学期应该完成如下任务： （1）学习图像处理
19、、图像检索、模式识别中和本毕业设计相关的知识； （2）熟练掌握Matlab语言程序设计方法； （3）构建好测试用的“情感语义图像数据库”； （4）完成“线条方向直方图”算法； （5）完成开题报告； （6）完成外文翻译。具体进度安排： (1)2013年9月25日-27日：开始选题，制订计划。 (2)2013年9月30日：启动科研训练，明确要求。 (3)2013年10月1日-27日：课题调研，文献查阅，完成开题报告。 (4)2013年10月28日-11月12日：开题报告答辩。 (5)2013年11月2日-下学期开学前两周：准备资料，迎接中期检查。 (6)下学期开学-2014年6月2日：完成毕设并参
20、加毕业设计答辩。参考文献：1 陈斌. 基于分形与小波的图像和谐情感特性研究 D. 北京航空航天大学硕士学位论文, 2002.2 Rafael C. Gonzalez 等著，阮秋琦等译. Digital Image Processing(中文版名：数字图像处理)M. 北京：电子工业出版社，2003. 3 Kherfi M L，Ziou D，Bernardi A. Image Retrieval From the World Wide Web：Issues，Techniques，and SystemsJ. ACM Computing Surveys，2004，36(1)：35-67. 4 章毓晋.
21、 基于内容的视觉信息检索M. 北京：科学出版社，2003.5 庄越挺等著. 网上多媒体信息分析与检索M. 北京：清华大学出版社，2002. 6 刘伟. 图像检索中若干问题的研究D. 杭州：浙江大学，2007.7 王上飞，王煦法. 图像情感检索研究的进展与展望J. 电路与系统学报，2005，10(4)：102-110.8 王伟凝，余英林. 图像的情感语义研究进展J. 电路与系统学报，2003，8(5)：101-109. 9 王伟凝，余英林，张剑超. 基于线条方向直方图的图像情感语义分类J. 计算机工程，2005，31(11)：7-9.4指导教师审阅意见指导教师(签字)： 年 月 日说明：本报告必
22、须由承担毕业论文(设计)课题任务的学生在毕业论文(设计) 正式开始的第1周周五之前独立撰写完成，并交指导教师审阅。西安邮电大学毕业设计 (论文)成绩评定表学生姓名任宁宁性别女学号04101118专 业班 级计科1004班课题名称基于情感图像检索系统的设计与实现课题类型科研题目难度一般毕业设计（论文）时间2013年9月25日2014月6日02日 指导教师刘伟 (职称：副教授)课题任务完成情况论 文 11 (千字)； 设计、计算说 明书 0 (千字)； 图纸 0 (张)；其它(含附 件)：指导教师意见 分项得分：开题调研论证分 ； 课题质量（论文内容） 分； 创新 分；论文撰写（规范） 分； 学习
23、态度 分； 外文翻译 分指导教师审阅成绩：指导教师(签字)： 年 月日评阅教师意见分项得分：选题 分； 开题调研论证 分； 课题质量（论文内容） 分； 创新 分；论文撰写（规范） 分； 外文翻译 分评阅成绩： 评阅教师(签字)： 年月 日验收小组意见 分项得分：准备情况 分； 毕业设计（论文）质量 分； （操作）回答问题 分验收成绩：验收教师(组长)(签字)： 年月 日答辩小组意见分项得分：准备情况 分； 陈述情况 分； 回答问题 分； 仪表 分答辩成绩： 答辩小组组长(签字)： 年 月 日成绩计算方法(填写本系实用比例)指导教师成绩 20 () 评阅成绩 30 () 验收成绩 30 () 答
24、辩成绩 20 ()学生实得成绩(百分制)指导教师成绩 评阅成绩 验收成绩 答辩成绩 总评 答辩委员会意见毕业论文(设计)总评成绩(等级)： 院答辩委员会主任(签字)： 院(签章) 年 月 日备注西安邮电大学毕业论文(设计)成绩评定表(续表)目录摘要IAbstractII引言11.概述21.1 背景与现状21.2 基于情感图像检索的概念41.3 情感图像检索特征的分类41.4 未来的研究趋势52.图像的特征算法72.1线条方向直方图72.2 BP神经网络分类器92.3 k-NN 分类器92.4 Weighted k-NN分类器103.程序设计113.1 情感图像的基本框架113.2 实验平台MA
25、TLAB介绍113.3 软硬件环境的介绍124.程序运行与结果分析134.1 情感图像数据库的建立134.2 线条方向直方图的改进算法与原始算法的分类正确率的比较154.3 程序的运行和结果分析165.总结27致谢28参考文献29摘要研究表明，许多图像中里都包含着一定的感情色彩，不同的图像会唤起人类不同的情感。如何有效地模拟人观察图像后所引起的情感感觉，并使用带有感情色彩的语义表述图像，是一个具有很大挑战性的前沿课题。情感图像检索的研究在医学、心理学、智能科学、社会学、计算机学、农业学等等领域都有巨大的应用价值。本文研究图像的低层视觉特征与高层语义之间的关系，例如情感的“静态”“动态”与图像之
26、间的关系。首先，建立一个包含动静态的图像数据库。在互联网上收集200幅包含“动感”和“静感”内容的艺术图像（如油画、水粉画、中国画。包括东方和西方作品）。然后请3位同学对图像的动感作出评估，进行打分，最后得到包含200幅“静感”类和“动感”类图像的数据库。其次，利用线条方向直方图提取图像边缘特征信息，再这基础上可以改进算法，比较分类的正确性。并且结合Weighted k-NN、k-NN、BP神经网络三种分类器对情感图像数据库进行分类，分类提高了图像检索的正确率。使用分类器的原理是：如果分类器分类正确，那么检索到的结果都是正确的，反之亦然。通过本次实验证明，相对于k-NN、Weighted k-
27、NN分类器，BP神经网络分类器的分类正确率是比较高的，分类率为0.578。k-NN、Weighted k-NN分别是0.5774和0.5699。通过改进训练样本可以改进提高分类率。本文重点研究线条方向直方图、k-NN、Weighted k-NN、BP神经网络分类器的算法。关键词：视觉特征计算 情感图像检索 线条方向直方图 分类器Abstract Research shows that many images are included in a certain emotional colors, different images will evoke different human emotio
28、ns. How to effectively simulate the emotional feeling of people caused by the observed image and the image using semantic representations emotionally, is leading subject of a great challenge. Emotional image retrieval research in medicine, psychology, smart science, sociology, computer science, etc.
29、 in the field of agricultural science has great value.Low-level visual features and the relationship between high-level semantic image this study, such as static, dynamic relationship between the images and emotions. First, create the image database containing dynamic static. Collected 200 contains
30、dynamic and static sense, the art of image content on the Internet (such as oil painting, watercolor painting, Chinese painting, including Eastern and Western works). Then ask students to make three dynamic image assessment, scoring, and finally get that contains 200 quiet sense of class and the dyn
31、amic class image database. Secondly, the use of lines to extract image edge direction histogram feature information, then it can be improved algorithm based on comparing the classification accuracy. And combined Weighted k-NN, k-NN, BP neural network classifier three kinds of emotional image databas
32、e categorize improve the image retrieval accuracy. Use classification principle is: if the classification accuracy, then retrieved the results are correct, and vice versa.Through this experiment proved that with respect to the k-NN, Weighted k-NN classifier, BP neural network classifier correct rate
33、 is relatively high, the classification was 0.578. k-NN, Weighted k-NN were 0.5774 and 0.5699. Can be improved by improving the training samples to improve the classification rate. This paper focuses on the line direction histogram, k-NN, Weighted k-NN, BP neural network classifier algorithm.Keyword
34、s: Visual features calculation emotional image retrieval line direction histogram the classifier引言随着信息化时代的到来和信息传播速度大力的提升，越来越多的图像信息被人们所接触。生活中，很多图像不但带有丰富的表面信息，而且蕴含了许多情感内容，为了满足用户主观的对于图像信息的需求，就兴起了图像检索技术。近年来，图像检索技术已成为什么热门的研究课题。早在上个世纪80年代初期，就已经形成了基于文本的图像检索，它通过提取关键字信息，通过关键字与文本信息进行检索的一门技术1。虽然文本图像检索大大的提高了图像检
35、索的效率，但是有些图像的关键字比较抽象、难以描述，加之一千个读者便有一千个哈姆雷特，中国汉字的多义性使得结果往往不如人意。直到上个世纪90年代初，伴随着，互联网图像信息的突飞猛进，基于内容的图像检索技术(CRIR)成为图像检索的主要技术 2 。其实，CRIR就是采用图像的颜色、纹理、形状以及本身包含的不同层次结构和语义信息来对图像进行检索的，主要依据图像的相似性进行判断的。目前，人们一般采用形容词描述图像的情感语义，例如，烛光给人温馨温暖的气氛等等，日本研究人员早早开展这方面的研究，他们将描述情感语义的形容词称作为Kansei(感性的) 3 。情感图像检索的研究与人类的视觉感受到的信息密切相关
36、，通过研究这两者之间的关系，对未来的发展具有什么重要的意义和作用。1.概述随着因特网技术的不断发展和电子产品的大量普及，可获取的数字图像的数据规模越来越多，数据库日益增大，极大地方便了用户的需求，同时为社会创造了巨大的经济效益。为了满足人们的需求，每天都会产生巨量的数字图像，这样确实是带来了人们便利，但是用户无论使用何种信息，首先都得面临如何查询自己所需的图像信息，于是就出现了两种图像检索方法即基于文本的图像检索和基于内容的图像检索。1.1 背景与现状现如今大多数的搜索引擎都是基于文本的关键词搜索，即文本注释。它是先对图像进行文字内容的注解，然后在图像数据库里进行检索。但是这样方法有一定的缺陷
37、。虽然文字注解概括了抽象的图像信息，但是由于用户对事物的主观性和文化背景的差异，人们对同一件事物的描述可能存在不同的理解，那么，当用户查询时录入的关键词与数据库中的关键词不匹配或者不存在时，将会导致查询失败。另一方面，关键字对文本的描述能力有限，很难全面的反映图像内容的中心思想。再者，不同地区不同国籍之间的自然语言理解和表述问题对文本的描述也存在差异，这又给检索造成了新的困难，尽管可以借用词典或者互联网得到简化，但是，同时使得检索的表达能力受到了极大的限制。接着出现了利用 Web 网页中图像的关键字信息来进行检索的引擎技术。因此客观上讲，目前的图像搜索引擎，从本质上并没有解决这一难题，搜索结果
38、不能达到预期的目标。如图1-1所示，利用搜狗图像搜索引擎输入关键字“企鹅”后得到的结果，图2是利用百度图像搜索引擎输入关键字“小燕子”后得到的结果。图1-1 搜狗图像搜索示例由图可以看出，图1-1中的第二排最后一幅图检索到了大猩猩，第三排第5列检索到了海龟，这些图片都是不符合要求的。图1-2中，第二排和第三排检索到了著名影星赵薇的照片，因为虽然关键词的泛指性，这样也造成了图像检索结果的不理想，检索到的结果往往也不能令人满意。图1-2 百度图像搜索示例 另一种是基于内容的图像检索 ，顾名思义，它是根据图像的内容进行检索的。由于图像依靠它的视觉特征来进行检索，根据视觉特征的相似度进行比较，然后按照
39、相似度进行排序并且将结果返回给用户。根据实验结果，基于内容的图像检索比较以前的检索系统有很大的进步。但是尽管如此，基于文本和内容的图像检索仍然存在着许许多多等待人们去探索和解决的问题。加之，图像内容的丰富性和多样性，用户心理的变化的主观性，对图像检索的研究提出了挑战，因此情感图像检索的研究是目前十分热门的具有挑战性的研究课题，具有十分重要的意义。图1-3是图像检索系统的框架。图1-3 图像检索系统概念示例1.2 基于情感图像检索的概念图像语义有好几层 4，5 。而我们讨论的情感语义位于抽象语义的最高水平，它可以被定义为描述强度和情绪，感情或通过可视图像诱发人类的情感类型的情感语义。它通常是以形
40、容词的形式表示，即快乐，浪漫，辉煌等等。情感语义的图像检索（ESIR）可以被视为一个基于语义的图像检索和情感识别的分支。情感图像语义的自动推导将延长图像索引和检索目前的可能性范围。例如，我们将能够对“一个宜人的景观”或“优雅的服装图像”进行检索。此外，图像检索的结果也将随着情感图像内容的参与而增强。 1.3 情感图像检索特征的分类 情感是一种微妙的心理表现，存在着很大的多义性和主观性，不同图像都会给人不同的感受,而不同的人对相同的图像也会存在各色各样的情感差异 6 。图像中的颜色、形状、纹理与图像中包含的情感是紧密相关的。本小节围绕颜色、纹理、形状等特征开展。1.3.1 颜色中的情感颜色是组成
41、美丽图像的元素之一。从色调上看，一般将色彩分为暖色调和冷色调，不同的色调带给人不同的感受，性别的差异对相同色调的感知也是有差异的。同理，色彩饱和度的差异也给人不同的感受。一言以蔽之，颜色基于其显著的心理学反应，对图像的情感语义的研究有着十分重要的作用 7 ，因此，在图像情感检索的研究中，一定要重视颜色特征且必须将其做为重要的特征加以研究。颜色是最直接、最敏感的视觉特征，是描述情感图像最有效的特征之一，具有鲜明性、独特性、合适性、联想性和稳定性等特点，在外界环境（软件和硬件）和自生特点等因素的变化下都表现出超强的健壮性。不同的事物有着不同的颜色特征，因此可以利用颜色特征来区别不同物体。例如，红玫
42、瑰代表热情、兴奋、强烈、好战、希望、奋进，绿色的草地代表新鲜、清新、和平，蓝色的天空代表清爽、自由、宁静。图像的颜色特征细致的研究和分析有助于对人的心理情绪变化进行分析，对是情感图像检索的有着十分重要的意义。1.3.2 纹理中的情感实际上，纹理特征是颜色特征的另一种的表达形式的存在，它是一种表面的视觉属性，表达了包含在物体表面的情感信息。例如，颗粒状的沙滩给人粗糙的感觉，家具的木质花纹又给人一安适感，这些纹理特征都带给人们不同的视觉心理效果，与人们情感息息相关。1.3.3 形状中的情感形状特征是情感图像中最核心的特征，它可以清晰的反映出图像的区域、轮廓的基本特征。图像中的形状可以激发人的感性认
43、识，主要是由于形状的美学价值之一作用的影响。例如，线条形态的不同会给人不同的感受，垂线给人以正直、公平、庄严、严肃；水平线给人宽广、无线延伸、遐想、安静、有活力；曲线给人以柔美、优亚、有节奏感。不同的形状传达给人不同的视觉体验，人们会主观的赋予它们不同的感情色彩 8 。1.4 未来的研究趋势三个关键问题的改进依赖于对其他相关领域进一步的了解，例如，使用认知科学和心理学的输出来设计更好的图像特征，这与图像的情感有着密切的关系并且可以表达图像语义；使用最新的研究人工智能成果和机器学习来改善情感的重组和推理效率。1.4.1 个性化情感模型至今大部分的情感研究工作是基于共同的情感，这意味着在一定程度上
44、一定数量的人可能会同意。然而，情绪感受是非常主观的，强烈依赖于个人的性格。这是考虑个体差异，增强检索系统满意度的一个重要方向。总的想法是建立一个特定的配置文件为特定用户或用户组，来记录个人喜好和共同的情感之间的自适应信息。Bianchi-Berthouze 9,10提出的K-DIME系统，其中，感性自适应个性化图像检索可以根据用户的感性偏好来实现。在该系统中，感性用户模型提出了通过用户评估该系统来建立相关的反馈录入，以便来构建记录每个人的主观性。然而，没有性能数据是提出证明这种做法是多么的成功。在产品的图像检索，BAEK 11 定义的用户配置文件仅仅通过感性的重量，通过用户反馈，这些关键的重量
45、和感性可以学习和变化。在个性化检索中挑战有：1）方法创建和处理配置文件是不够的；2）需要大量情感反馈量，数据难以收集和对于用户来说过程是无聊的。1.4.2 结合Web文本的关键字信息现在越来越多的图片来自于网络。这些图像的特征表现在结构化的Web页面的视觉和语言信息。从文本和图像梳理功能，从不同媒体的更多的信息可以被集成到推导出情感语义。在信息检索技术和语言分析方面，如WordNet的，潜在语义分析（LSA）可能在将来被使用。罗伯托12提出了一种分类方法，叫做无监督图像分类法。它是通过语言描述的信息从网页中提取集成视觉特征的意味着LSA，为了获取图像语义。这种方法可用于提取图像的情感语义理解之间的语义关系和一般情感语义。1.4.3 结