大数据是现在用处很广的一项技术，随着智能电网建设的不断深入和推进，电网运行和设备检/监测产生的数据量呈指数级增长，逐渐构成了当今信息学界所关注的大数据，这需要相应的存储和快速处理技术作为支撑。本文是一篇电力论文范文，主要论述了智能电网大数据处理技术现状与挑战。
摘 要：在新的时期，智能电网大数据处理面临着新的机遇与挑战，笔者首先分析智能电网大数据处理技术现状，并从大数据传输及存储技术、数据处理的时效性技术、异构多数据源处理技术以及大数据可视化化分析技术4个方面论述了智能电网大数据带来的机遇和挑战。
关键词：智能电网,大数据,云计算,并行数据库,应用现状
一、智能电网中大数据的特点
电网业务数据大致分为3类：一是电网运行和设备检测或监测数据;二是电力企业营销数据，如交易电价、售电量、用电客户等方面的数据;三是电力企业管理数据。根据数据的内在结构，这些数据可以进一步细分为结构化数据和非结构化数据。结构化数据主要包括存储在关系数据库中的数据，目前电力系统中的大部分数据是这种形式;相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，主要包括视频监控、图形图像处理等产生的数据。
数据体量巨大。随着智能化的发展，电网数据从TB级逐渐上升至PB级。数据类型繁多。电网数据广域分布、种类众多，包括实时数据、历史数据、文本数据、多媒体数据、时间序列数据等各类结构化、半结构化数据及非结构化数据，各类数据查询与处理的频度和性能要求也不尽相同。价值密度低，以电网监控视频为例，在实时监控的过程中，有用的数据占总数据的比例很少，绝大多数数据都属于正常数据，而少数的异常数据正是有用的数据，也才是对电网运行检修提供有力依据的数据。
二、智能电网中大数据处理技术现状
1.并行数据库
关系数据库主要存储结构化数据，提供便捷的数据查询分析能力、按照严格规则快速处理事务(Transaction)的能力、多用户并发访问能力及数据安全性的保证。通过SQL查询语言及强大的数据分析能力以及较高的程序与数据独立性等优点获得了广泛应用。然而随着智能电网建设的加速，数据已远远超出关系型数据库的管理范畴，地理信息系统及图片、音视频等各种非结构化数据逐渐成为需要存储和处理的海量数据的重要组成部分。
2.云计算技术
大数据技术的需求是伴随着云计算平台的出现而出现，云计算的核心是海量数据存储和数据并行处理技术。而智能电网中数据量最大的应属于电力设备状态监测数据。状态监测数据不仅包括在线的状态监测数据，还包括设备基本信息、实验数据、缺陷记录等，数据量极大，可靠性要求高，实时性要求比企业管理数据要高。云计算技术在国内电力行业中的应用研究还处于探索阶段，现有云计算平台可以满足智能电网监控软件运行的可靠性和可扩展性，但实时性、一致性、数据隐私和安全等方面的要求尚不能满足，有待进一步研究。
三、智能电网大数据处理技术面临的挑战
1.大数据传输及存储技术
智能化的发展，电力系统运行过程中各项数据及电力设备监测数据被全部记录下来，数据量越来越多，这给电网运行监控设备以及数据的传输、存储系统造成巨大的负担，并对电网智能化发展造成很大的影响。对于智能电网大数据存储方面，采用分布式文件保存的方式，能够实现对大量数据的存储，但对电力系统实时性数据处理方面还有一定的局限性。所以需要对系统中大数据性能进行分析并实行分类存储。智能电网中非结构化数据占据很大的比重，在存储方面需要将这些海量的非结构化数据转换为结构化数据，这正是目前智能大数据处理技术面临的困境。
2.数据处理的时效性技术
对大数据而言，数据处理速度十分重要。一般情况下，数据规模越大，分析处理的时间就会越长。传统的数据存储方案是为一定大小的数据量而设计的，在其设计范围内处理速度可能非常快，但不能适应大数据的要求。未来智能电网环境下，从发电、输变电环节，到用电环节，都需要实时数据处理。目前的云计算系统可以提供快速的服务，但有可能会受到短暂的网络拥塞，甚至是单台服务器故障的影响，而不能保证响应时间。
3.异构多数据源处理技术
未来智能电网要求贯通发电、输电、变电、配电、用电、调度等多个环节，实现信息的全面采集、流畅传输和高效处理，支撑电力流、信息流、业务流的高度一体化。因此，首要功能是实现大规模多源异构信息的整合，为智能电网提供资源集约化配置的数据中心。针对海量异构数据，如何构建一个模型来对其进行规范表达，如何基于该模型来实现数据融合及对其进行有效的存储和高效查询是亟需解决的问题。由于智能电网中的数据类型比IEC61850所涉及的类型要多，所以应用多层知识结构和语义的方法、建立面向领域的分析模型与基于语义的服务模型是一种可选的方法。
4.大数据可视化化分析技术
面对海量的智能电网数据，如何在有限的屏幕空间下，以一种直观、容易理解的方式展现给用户，是一项非常有挑战性的工作。可视化方法已被证明为一种解决大规模数据分析的有效方法，并在实践中得到广泛应用。智能电网各类应用产生的大规模数据集，其中包含高精度、高分辨率数据，时变数据和多变量数据等。可视化通过一系列复杂的算法将数据绘制成高精度、高分辨率的图片，并提供交互工具，有效利用人的视觉系统，并允许实时改变数据处理和算法参数，对数据进行观察和定性及定量分析。
四、结语
我国智能电网系统应用越来越广泛，大数据处理技术成为了维护智能电网安全运行的主要手段。但是随着电网智能化程度逐渐深入，大数据处理技术在实时性、隐私性、一致性等方而也遇到了很大的挑战，未来的智能电网将是依托大数据处理分析技术的全景实时电网，因此我们必须找出有效的解决方法，推动我国电力事业的持续发展。
作者简介：邓炜瑛(1980-),女,吉林长春人，本科，工程师。研究方向：研究继电保护智能电网。
电力论文发表期刊推荐《华北电业》杂志由华北电网有限公司主办，《华北电业》杂志编辑部编辑出版，创刊于1985年，原名《华北电力企业管理》。1993年更名为《华北电业》，是华北地区电力行业的权威性刊物。
