业务需求:各位大牛好,我在做一个媒体分析的小软件。主要是对各个电视台播放的电视剧进行信息汇总统计。用.net程序把每年的160个TXT文件内的数据(每个TXT大概20W条)导入到数据库
业务需求:各位大牛好,我在做一个媒体分析的小软件。主要是对各个电视台播放的电视剧进行信息汇总统计。用.net程序把每年的160个TXT文件内的数据(每个TXT大概20W条)导入到数据库的主表里, 业务需求: 各位大牛好,我在做一个媒体分析的小软件。主要是对各个电视台播放的电视剧进行信息汇总统计。用.net程序把每年的160个TXT文件内的数据(每个TXT大概20W条)导入到数据库的主表里,然后用程序对导入的数据进行查询生成明细报告和统计报告。主表的结构如下 CREATETABLE[dbo].[收视]( [收视地区][char](30)COLLATEChinese_PRC_CI_ASNOTNULL, [时段][char](10)COLLATEChinese_PRC_CI_ASNOTNULL, [剧目][nvarchar](50)COLLATEChinese_PRC_CI_ASNOTNULL, [集数][nvarchar](50)COLLATEChinese_PRC_CI_ASNOTNULL, [剧场冠名][nvarchar](50)COLLATEChinese_PRC_CI_ASNOTNULL, [播出频道][nvarchar](50)COLLATEChinese_PRC_CI_ASNOTNULL, [日期][datetime]NOTNULL, [周日][nvarchar](50)COLLATEChinese_PRC_CI_ASNOTNULL, [开始时间][nvarchar](50)COLLATEChinese_PRC_CI_ASNOTNULL, [时长][nvarchar](50)COLLATEChinese_PRC_CI_ASNOTNULL, [结束时间][nvarchar](50)COLLATEChinese_PRC_CI_ASNOTNULL, [收视率%四岁以上所有人][float]NOTNULL, [收视率%男][float]NOTNULL, [收视率%女][float]NOTNULL, [收视率%4-12岁少儿期][float]NOTNULL, [收视率%13-18岁青少年期][float]NOTNULL, [收视率%19-30岁青年期][float]NOTNULL, [收视率%31-45岁中年期][float]NOTNULL, [收视率%46-60岁中老年期][float]NOTNULL, [收视率%60岁以上老年期][float]NOTNULL, [收视人口(000)四岁以上所有人][int]NOTNULL, [收视人口(000)男][int]NOTNULL, [收视人口(000)女][int]NOTNULL, [收视人口(000)4-12岁少儿期][int]NOTNULL, [收视人口(000)13-18岁青少年期][int]NOTNULL, [收视人口(000)19-30岁青年期][int]NOTNULL, [收视人口(000)31-45岁中年期][int]NOTNULL, [收视人口(000)46-60岁中老年期][int]NOTNULL, [收视人口(000)60岁以上老年期][int]NOTNULL )ON[s]([日期]) 这个表是主表,每年数据量在5000千万左右。现在有4年的数据要进行导入。已经按照日期列进行每月分区。 因为所有列数据不唯一所以没有办法创建唯一索引。 需要对收视人口和收视率进行统计。 其他几个小表数据量都很小,涉及到简单的联合查询。 主要功能就是查询生成明细报告、统计报告。 要求: 对源数据库进行设计、对数据仓库按业务需求进行设计。 有感兴趣的朋友欢迎加我QQ或MSN详聊 qq:355572711 msn:xiaoxuan158@163.com 就是根据业务需求设计个数据库架构,有没有懂BI的想接啊,就是利用数据仓库做统计,其他的都用不到的。 目前面临的问题就是数据上亿以后统计报告就慢的根本跑不出来。所以希望用BI来完成,如果不用BI也能完成上亿数据的快速统计也是可以的。这个软件主要是为了方便公司内部人员工作写的一个简单的数据操作软件而已。请各位大牛帮帮忙吧!!!!!!!!!!!!!!!!!!!
18 个解决方案
#1
帮顶仓储设计
#2
这个建个数据仓库用SSIS把TXT导进去就好,如果格式统一的话应该只是体力活,就是设计要好好计划一下
#3
体力活有请楼下..
#4
引用2楼guguda2008的回复: 这个建个数据仓库用SSIS把TXT导进去就好,如果格式统一的话应该只是体力活,就是设计要好好计划一下 恩,但是我不懂BI所以无从下手,希望楼上两位高手能不能抽点时间帮我弄弄,有偿的。 现在查询时间还可以忍受,就是做数据统计的时候非常慢,严重的时候系统都要挂了!!
#5
学习。。。。。。。。。
#6
数据仓储问题。
#7
不懂个帮顶个
#8
数据仓库的事实表不是这么玩的 需要维度支持
#9
LZ设计的表最完美地体现了数据仓库的本质,但是很遗憾在目前的现实中(记录上亿)和资源下是可能实现您的要求的。要想真正地快,建Cube是必须的了。
#10
数据仓库暂时没有接触过,帮顶,蹭分!
#11
我也顶,每天一顶。还没有进展中.........................................
#12
引用3楼ws_hgo的回复: SQLcode 体力活 有请楼下..
#13
不懂。。。继续学习
#14
听着很牛,干着很累。加油喽
#15
这是个报告,而不是一个事实表 需要拆分的 根据txt的内容再分别填充
#16
楼上的高人有时间帮忙搞搞这个BI么?
#17
创建cube,用mdx来做,不过图形化的展现可以用RS
#18
密切关注【出处:
阜宁网站开发公司 http://www.1234xp.com/funing.html 网络转载请说明出处】