微软审计师数据仓库

审计数据分类存放思路是建立审计数据仓库，并在此基础上对海量的企业财务数据及相关数据进行审计。建立审计数据仓库是解决目前通过单机版软件和手工查账的审计方式效率低下的有效途径。

简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的ID。 单从概念上讲，有些晦涩。任何技术都是为应用服务的，结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多，消费交易又多，那么该地区就有必要设立ATM了。 显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。 数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。那么，数据仓库与传统数据库比较，有哪些不同呢?让我们先看看关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。 “面向主题的”:传统数据库主要是为应用程序进行数据处理，未必按照同一主题存储数据;数据仓库侧重于数据分析工作，是按照主题存储的。这一点，类似于传统农贸市场与超市的区别—市场里面，白菜、萝卜、香菜会在一个摊位上，如果它们是一个小贩卖的;而超市里，白菜、萝卜、香菜则各自一块。也就是说，市场里的菜(数据)是按照小贩(应用程序)归堆(存储)的，超市里面则是按照菜的类型(同主题)归堆的。 “与时间相关”:数据库保存信息的时候，并不强调一定有时间信息。数据仓库则不同，出于决策的需要，数据仓库中的数据都要标明时间属性。决策中，时间属性很重要。同样都是累计购买过九车产品的顾客，一位是最近三个月购买九车，一位是最近一年从未买过，这对于决策者意义是不同的。 “不可修改”:数据仓库中的数据并不是最新的，而是来源于其它数据源。数据仓库反映的是历史信息，并不是很多数据库处理的那种日常事务数据(有的数据库例如电信计费数据库甚至处理实时信息)。因此，数据仓库中的数据是极少或根本不修改的;当然，向数据仓库添加数据是允许的。 数据仓库的出现，并不是要取代数据库。目前，大部分数据仓库还是用关系数据库管理系统来管理的。可以说，数据库、数据仓库相辅相成、各有千秋。 补充一下，数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。为了更好地为前端应用服务，数据仓库必须有如下几点优点，否则是失败的数据仓库方案。 1.效率足够高。客户要求的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析。由于有的企业每日的数据量很大，设计不好的数据仓库经常会出问题，延迟1-3日才能给出数据，显然不行的。 2.数据质量。客户要看各种信息，肯定要准确的数据，但由于数据仓库流程至少分为3步，2次ETL，复杂的架构会更多层次，那么由于数据源有脏数据或者代码不严谨，都可以导致数据失真，客户看到错误的信息就可能导致分析出错误的决策，造成损失，而不是效益。 3.扩展性。之所以有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，客户不用太快花钱去重建数据仓库系统，就能很稳定运行。主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于数据量大很多，就运行不起来了。

从数据库到数据仓库企业的数据处理大致分为两类：一类是操作型处理，也称为联机事务处理，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。另一类是分析型处理，一般针对某些主题的历史数据进行分析，支持管理决策。两者具有不同的特征，主要体现在以下几个方面。1、处理性能日常业务涉及频繁、简单的数据存取，因此对操作型处理的性能要求是比较高的，需要数据库能够在很短时间内做出反应。2、数据集成企业的操作型处理通常较为分散，传统数据库面向应用的特性使数据集成困难。3、数据更新操作型处理主要由原子事务组成，数据更新频繁，需要并行控制和恢复机制。4、数据时限操作型处理主要服务于日常的业务操作。5、数据综合操作型处理系统通常只具有简单的统计功能。数据库已经在信息技术领域有了广泛的应用，我们社会生活的各个部门，几乎都有各种各样的数据库保存着与我们的生活息息相关的各种数据。作为数据库的一个分支，数据仓库概念的提出，相对于数据库从时间上就近得多。美国著名信息工程专家WilliamInmON博士在90年代初提出了数据仓库概念的一个表述，认为：“一个数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，它用于对管理决策过程的支持。”这里的主题，是指用户使用数据仓库进行决策时所关心的重点方面，如：收入、客户、销售渠道等；所谓面向主题，是指数据仓库内的信息是按主题进行组织的，而不是像业务支撑系统那样是按照业务功能进行组织的。集成，是指数据仓库中的信息不是从各个业务系统中简单抽取出来的，而是经过一系列加工、整理和汇总的过程，因此数据仓库中的信息是关于整个企业的一致的全局信息。随时间变化，是指数据仓库内的信息并不只是反映企业当前的状态，而是记录了从过去某一时点到当前各个阶段的信息。数据库安全计算机攻击、内部人员违法行为，以及各种监管要求，正促使组织寻求新的途径来保护其在商业数据库系统中的企业和客户数据。您可以采取八个步骤保护数据仓库并实现对关键法规的遵从。1. 发现使用发现工具发现敏感数据的变化。2.漏洞和配置评估评估数据库配置，确保它们不存在安全漏洞。这包括验证在操作系统上安装数据库的方式(比如检查数据库配置文件和可执行程序的文件权限)，以及验证数据库自身内部的配置选项(比如多少次登录失败之后锁定帐户，或者为关键表分配何种权限)。3. 加强保护通过漏洞评估，删除不使用的所有功能和选项。4. 变更审计通过变更审计工具加强安全保护配置，这些工具能够比较配置的快照(在操作系统和数据库两个级别上)，并在发生可能影响数据库安全的变更时，立即发出警告。5. 数据库活动监控(DAM)通过及时检测入侵和误用来限制信息暴露，实时监控数据库活动。6. 审计必须为影响安全性状态、数据完整性或敏感数据查看的所有数据库活动生成和维护安全、防否认的审计线索。7.身份验证、访问控制和授权管理必须对用户进行身份验证，确保每个用户拥有完整的责任，并通过管理特权来限制对数据的访问。8. 加密使用加密来以不可读的方式呈现敏感数据，这样攻击者就无法从数据库外部对数据进行未授权访问。如何应对监控需求数据，作为企业核心资产，越来越受到企业的关注，一旦发生非法访问、数据篡改、数据盗取，将给企业带来巨大损失。数据库作为数据的核心载体，其安全性就更加重要。面对数据库的安全问题，企业常常遇到以下主要挑战：数据库被恶意访问、攻击、甚至遭到数据偷窃，而您不能及时地发现这些恶意的操作； 不了解数据使用者对数据库的访问细节，从而不能保证您对数据安全的管理；信息安全同样会带来审计问题，当今全球对合规/ 审计要求越来越严格，由于不满足合规要求而导致处罚的事件屡见不鲜。美国《萨班斯法案》的强制性要求曾导致2007年7月5日中国第一家海外上市公司—华晨中国汽车控股有限公司从美国纽约证券交易所退市。有关信息安全的合规/审计要求，中国政府也进行了大量的强化工作，例如，为了加强商业银行信息科技风险管理，银监会出台了《商业银行信息科技风险管理指引》规则，中国政府——财政部、证监会、银监会、保监会及审计署等五部委会联合发布“中国版萨班尼斯－奥克斯利法案（以下简称‘C-SOX法案’）”——《企业内部控制基本规范》。面对合规/审计要求，企业往往面临以下挑战：·不能做到持续性审计用户审计主要是针对数据库、应用系统日志做审计，这些日志内容非常庞大，DBA（数据库管理员）和信息安全审计人员的审计工作就只能做事后分析，分析时间也长。不能做到持续性审计。·审计并不规范用户审计的内容和表格主要是根据外部审计人员要求和内部安全管理要素来考虑，这些审计工作的好坏基本上取决于DBA和信息安全审计人员的经验和技能，这些不能有效成为公司规范和满足外部审计要求。·数据库管理员权责没有完全区分开，导致审计效果问题数据库管理和审计原始数据的收集实际上都是由DBA来做的，这就导致了DBA的权责不明确，DBA没办法客观审计自己所做的工作，尽管用户设置了信息安全审计人员，但该角色的审计工作的部分证据建立在DBA初步审计基础上，因此审计效果与可靠性存问题。·审计并不完整人工审计需要面对海量的日志，不可能对所有数据进行细致审计；审计报告就未必能满足100%可见性。为了满足企业的信息安全、合规、审计等需求，IBM公司推出了“CARS”企业信息架构，该架构主要从“法规遵从”（Compliance）、“信息可用”(Availability)、“信息保留”(Retention)、“信息安全”(Security) 四个方面进行了全面的满足和保护。不仅如此，IBM Guardium数据库安全、合规、审计、监控解决方案的推出，针对了“法规遵从”和“信息安全”进行了专项治理和加强。Guardium数据库安全、合规、审计、监控解决方案，以软硬件一体服务器的方式，大大增强数据库安全性，满足并方便审计工作，提升性能，并简化了安装部署工作。可以防止对数据库的破坏、恶意访问、偷窃数据，可帮助判断客户关键敏感的数据在什么地方；谁在使用这些数据；控制对数据库中数据的访问，并可监控特权用户；帮助企业强制执行安全规范；检查薄弱环节、漏洞，防止对数据库配置的改动；满足合规/审计的要求，并可简化内部和外部审计、合规的过程并使其自动化，增强运作效率；管理安全的复杂性。