文件分析的方法

㈠ 海量数据分析处理方法

海量数据分析处理方法
一、Bloom filter
适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集
基本原理及要点：
对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是 counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。
还有一个比较重要的问题，如何根据输入元素个数n，确定位数组m的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况下，m至少要等于n*lg(1/E)才能表示任意n个元素的集合。但m还应该更大些，因为还要保证bit数组里至少一半为0，则m应该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。
举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。这样k大概是8个。
注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。
扩展：
Bloom filter将集合中的元素映射到位数组中，用k（k为哈希函数个数）个映射位是否全1表示元素在不在这个集合中。Counting bloom filter（CBF）将位数组中的每一位扩展为一个counter，从而支持了元素的删除操作。Spectral Bloom Filter（SBF）将其与集合元素的出现次数关联。SBF采用counter中的最小值来近似表示元素的出现频率。
问题实例：给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。如果是三个乃至n个文件呢？
根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340亿，n=50亿，如果按出错率0.01算需要的大概是650亿个bit。现在可用的是340亿，相差并不多，这样可能会使出错率上升些。另外如果这些urlip是一一对应的，就可以转换成ip，则大大简单了。
二、Hashing
适用范围：快速查找，删除的基本数据结构，通常需要总数据量可以放入内存
基本原理及要点：
hash函数选择，针对字符串，整数，排列，具体相应的hash方法。
碰撞处理，一种是open hashing，也称为拉链法；另一种就是closed hashing，也称开地址法，opened addressing。
扩展：
d-left hashing中的d是多个的意思，我们先简化这个问题，看一看2-left hashing。2-left hashing指的是将一个哈希表分成长度相等的两半，分别叫做T1和T2，给T1和T2分别配备一个哈希函数，h1和h2。在存储一个新的key时，同时用两个哈希函数进行计算，得出两个地址h1[key]和h2[key]。这时需要检查T1中的h1[key]位置和T2中的h2[key]位置，哪一个位置已经存储的（有碰撞的）key比较多，然后将新key存储在负载少的位置。如果两边一样多，比如两个位置都为空或者都存储了一个key，就把新key存储在左边的T1子表中，2-left也由此而来。在查找一个key时，必须进行两次hash，同时查找两个位置。
问题实例：
1).海量日志数据，提取出某日访问网络次数最多的那个IP。
IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。
三、bit-map
适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下
基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码
扩展：bloom filter可以看做是对bit-map的扩展
问题实例：
1)已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。
8位最多99 999 999，大概需要99m个bit，大概10几m字节的内存即可。
2)2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。
将bit-map扩展一下，用2bit表示一个数即可，0表示未出现，1表示出现一次，2表示出现2次及以上。或者我们不用2bit来进行表示，我们用两个bit-map即可模拟实现这个2bit-map。
四、堆
适用范围：海量数据前n大，并且n比较小，堆可以放入内存
基本原理及要点：最大堆求前n小，最小堆求前n大。方法，比如求前n小，我们比较当前元素与最大堆里的最大元素，如果它小于最大元素，则应该替换那个最大元素。这样最后得到的n个元素就是最小的n个。适合大数据量，求前n小，n的大小比较小的情况，这样可以扫描一遍即可得到所有的前n元素，效率很高。
扩展：双堆，一个最大堆与一个最小堆结合，可以用来维护中位数。
问题实例：
1)100w个数中找最大的前100个数。
用一个100个元素大小的最小堆即可。
五、双层桶划分-—其实本质上就是【分而治之】的思想，重在分的技巧上！
适用范围：第k大，中位数，不重复或重复的数字
基本原理及要点：因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可以接受的范围内进行。可以通过多次缩小，双层只是一个例子。
扩展：
问题实例：
1).2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。
有点像鸽巢原理，整数个数为2^32,也就是，我们可以将这2^32个数，划分为2^8个区域(比如用单个文件代表一个区域)，然后将数据分离到不同的区域，然后不同的区域在利用bitmap就可以直接解决了。也就是说只要有足够的磁盘空间，就可以很方便的解决。
2).5亿个int找它们的中位数。
这个例子比上面那个更明显。首先我们将int划分为2^16个区域，然后读取数据统计落到各个区域里的数的个数，之后我们根据统计结果就可以判断中位数落到那个区域，同时知道这个区域中的第几大数刚好是中位数。然后第二次扫描我们只统计落在这个区域中的那些数就可以了。
实际上，如果不是int是int64，我们可以经过3次这样的划分即可降低到可以接受的程度。即可以先将int64分成2^24个区域，然后确定区域的第几大数，在将该区域分成2^20个子区域，然后确定是子区域的第几大数，然后子区域里的数的个数只有2^20，就可以直接利用direct addr table进行统计了。
六、数据库索引
适用范围：大数据量的增删改查
基本原理及要点：利用数据的设计实现方法，对海量数据的增删改查进行处理。
七、倒排索引(Inverted index)
适用范围：搜索引擎，关键字查询
基本原理及要点：为何叫倒排索引？一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。
以英文为例，下面是要被索引的文本： T0 = “it is what it is” T1 = “what is it” T2 = “it is a banana”
我们就能得到下面的反向文件索引：
“a”: {2} “banana”: {2} “is”: {0, 1, 2} “it”: {0, 1, 2} “what”: {0, 1}
检索的条件”what”,”is”和”it”将对应集合的交集。
正向索引开发出来用来存储每个文档的单词的列表。正向索引的查询往往满足每个文档有序频繁的全文查询和每个单词在校验文档中的验证这样的查询。在正向索引中，文档占据了中心的位置，每个文档指向了一个它所包含的索引项的序列。也就是说文档指向了它包含的那些单词，而反向索引则是单词指向了包含它的文档，很容易看到这个反向的关系。
扩展：
问题实例：文档检索系统，查询那些文件包含了某单词，比如常见的学术论文的关键字搜索。
八、外排序
适用范围：大数据的排序，去重
基本原理及要点：外排序的归并方法，置换选择败者树原理，最优归并树
扩展：
问题实例：
1).有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16个字节，内存限制大小是1M。返回频数最高的100个词。
这个数据具有很明显的特点，词的大小为16个字节，但是内存只有1m做hash有些不够，所以可以用来排序。内存可以当输入缓冲区使用。
九、trie树
适用范围：数据量大，重复多，但是数据种类小可以放入内存
基本原理及要点：实现方式，节点孩子的表示方式
扩展：压缩实现。
问题实例：
1).有10个文件，每个文件1G，每个文件的每一行都存放的是用户的query，每个文件的query都可能重复。要你按照query的频度排序。
2).1000万字符串，其中有些是相同的(重复),需要把重复的全部去掉，保留没有重复的字符串。请问怎么设计和实现？
3).寻找热门查询：查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个，每个不超过255字节。
十、分布式处理 maprece
适用范围：数据量大，但是数据种类小可以放入内存
基本原理及要点：将数据交给不同的机器去处理，数据划分，结果归约。
扩展：
问题实例：
1).The canonical example application of MapRece is a process to count the appearances ofeach different word in a set of documents:
2).海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10。
3).一共有N个机器，每个机器上有N个数。每个机器最多存O(N)个数并对它们操作。如何找到N^2个数的中数(median)？

㈡ 如何用WinDbg分析MEMORY.DMP文件

在C++实际开发过程中，开发出来的程序，一般情况下由开发人员进行单元测试，然后移交给测试人员进行测试。在开发人员测试出现的bug，我们可以直接在本地进行调试。如果测试人员测试出崩溃级别的bug，如果我们需要调试往往借助于vs提供的Remote Debugger工具进行远程调试，然是当程序在用户手中出现崩溃此时我们可以采用Remote Debugger进行调试，但是如果此时开发人员无法直接去用户现场调试，此时就需要用户生成DMP文件，以便开发人员使用DMP文件进行分析。

本文主要介绍C++开发过程中出现程序崩溃后，如何进行分析定位bug（基于xp系统）。

一、DMP文件获取设置
（1）在运行窗口中输入 drwtsn32 -i ，并且点击确定
WinDbg分析DMP文件方法完全攻略

（2）在（1）确定后弹出如下对话框
WinDbg分析DMP文件方法完全攻略

（3）在（2）弹出的确定框后点击确定按钮完成，将Dr.Watson设置为默认应用程序调试程序。
Dr.Watson系统自带的程序。

（4）再次在运行窗口中输入：drwtsn32，如下图：
WinDbg分析DMP文件方法完全攻略

（5）点击确定按钮，在弹出的对话框中按照下列方式设置
WinDbg分析DMP文件方法完全攻略

(6) 点击确定按钮完成DMP文件设置。

二、关闭Dr.Watson方法
（1）打开注册表
（2）在注册表中进入主键［HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsNT\CurrentVersion\AeDebug］，然后将“AUTO”键值设置为0如下图：
WinDbg分析DMP文件方法完全攻略

三、Windbg下载，下载完成后安装

四、DMP文件获取
(1) 用vs2010创建一个基于win32的程序，其源码如下：
WinDbg分析DMP文件方法完全攻略

(2)我们知道在学习C++中整数不能跟0进行除运算，否则会引起程序崩溃。而（1）中就是编写能触发0的异常，导致程序结束运行的程序。编译（1）中的程序，结果如下：
WinDbg分析DMP文件方法完全攻略

（3）运行（2）中test.exe程序 ，程序崩溃。如下图：
WinDbg分析DMP文件方法完全攻略

(4) 按照《一、DMP文件获取设置》步骤实现Dr.Watson设置为默认应用程序调试程序。

(5)再次运行运行（2）中test.exe程序 如下图：
WinDbg分析DMP文件方法完全攻略

点击确定完成dmp文件的生成。

（6）打开在（4）中设置dmp文件路径。（本例中默认地址为：C:\Documents and Settings\All Users\Application Data\Microsoft\Dr Watson）如下图：
WinDbg分析DMP文件方法完全攻略

其中user.dmp就是我们需要的dmp文件。

五、分析《四、DMP文件获取》中获取的DMP文件。

㈢ 如何用windbg分析memory.dmp文件

在C++实际开发过程中，开发出来的程序，一般情况下由开发人员进行单元测试，然后移交给测试人员进行测试。在开发人员测试出现的bug，我们可以直接在本地进行调试。如果测试人员测试出崩溃级别的bug，如果我们需要调试往往借助于vs提供的Remote Debugger工具进行远程调试（关于vs2010远程调试的方法，请参考http://blog.sina.com.cn/s/blog_a459dcf5010153o7.html），然是当程序在用户手中出现崩溃此时我们可以采用Remote Debugger进行调试，但是如果此时开发人员无法直接去用户现场调试，此时就需要用户生成DMP文件，以便开发人员使用DMP文件进行分析。

本文主要介绍C++开发过程中出现程序崩溃后，如何进行分析定位bug（基于xp系统）。

一、DMP文件获取设置
（1）在运行窗口中输入 drwtsn32 -i ，并且点击确定
WinDbg分析DMP文件方法完全攻略

（2）在（1）确定后弹出如下对话框
WinDbg分析DMP文件方法完全攻略

（3）在（2）弹出的确定框后点击确定按钮完成，将Dr.Watson设置为默认应用程序调试程序。
Dr.Watson系统自带的程序。

（4）再次在运行窗口中输入：drwtsn32，如下图：
WinDbg分析DMP文件方法完全攻略

（5）点击确定按钮，在弹出的对话框中按照下列方式设置
WinDbg分析DMP文件方法完全攻略

(6) 点击确定按钮完成DMP文件设置。

二、关闭Dr.Watson方法
（1）打开注册表
（2）在注册表中进入主键［HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsNT\CurrentVersion\AeDebug］，然后将“AUTO”键值设置为0如下图：
WinDbg分析DMP文件方法完全攻略

三、Windbg下载地址
http://msdn.microsoft.com/en-us/windows/hardware/gg463009.aspx，下载完成后安装

四、DMP文件获取
(1) 用vs2010创建一个基于win32的程序，其源码如下：
WinDbg分析DMP文件方法完全攻略

(2)我们知道在学习C++中整数不能跟0进行除运算，否则会引起程序崩溃。而（1）中就是编写能触发0的异常，导致程序结束运行的程序。编译（1）中的程序，结果如下：
WinDbg分析DMP文件方法完全攻略

（3）运行（2）中test.exe程序 ，程序崩溃。如下图：
WinDbg分析DMP文件方法完全攻略

(4) 按照《一、DMP文件获取设置》步骤实现Dr.Watson设置为默认应用程序调试程序。

(5)再次运行运行（2）中test.exe程序 如下图：
WinDbg分析DMP文件方法完全攻略

点击确定完成dmp文件的生成。

（6）打开在（4）中设置dmp文件路径。（本例中默认地址为：C:\Documents and Settings\All Users\Application Data\Microsoft\Dr Watson）如下图：
WinDbg分析DMP文件方法完全攻略

其中user.dmp就是我们需要的dmp文件。

五、分析《四、DMP文件获取》中获取的DMP文件

㈣ 如何分析trace文件

Oracle-trace文件分析
如果一个系统的执行效率比较低，一个比较好的方法是通过跟踪用户的会话并且使用tkprof工具使用排序功能格式化输出，从而找出有问题的SQL语句。
例如首先从os上利用top命令找到当前占用cpu资源最高的一个进程的PID号9999；
然后在数据库中根据PID号找到相应的sid和serial#
select s.sid,s.serial# from v$session s,v$process p where s.paddr=p.addr and p.spid='9999';
然后通过exec dbms_monitor.session_trace_enable(sid,serial#)开启trace；
最后利用tkprof察看trace输出。
开启Trace文件输出
可以通过以下方法开启Trace文件输出（需要ALTER SESSION系统权限）:
1) alter session/system set sql_trace=true
2) exec dbms_monitor.session_trace_enable/dbms_monitor.database_trace_enable
3) alter session set events '10046 trace name context forever, level 12'
Trace文件的位置

㈤ EXE文件用什么工具可以分析

记事本就可以！不过你用记事本打开的都是乱码，因为里面的程序代码都加密了！

㈥ 【理论知识】Dex文件结构分析

Dex文件就是Dalvik可执行文件，实际上它就是一个优化后的java字节码文件，因此构造这类文件需要先写个java文件

Pino.java

然后编译

之后得到了Pino.class文件，之后我们用dx工具，该工具需要安装Android SDK才能有的工具

这样就得到了一个dex文件了，之后我们利用010editor工具来进行分析。

那我们从头开始分析

首先，我们来看一下Dex文件头的结构体

这里stringIdSize的值为0E，10进制就是14，也就是说这个dex文件的字符串的个数为14个，文件偏移是70，我们到70的位置看一下

蓝色部分就是DexStringId的内容了，每个字符串4字节，总共14个，我们先看一下第一组“76 01 00 00”，这个值并不是字符串的具体内容，而是字符串所在位置的文件偏移，我们去看一下176h这个位置

蓝色部分我一共选中了8个字节，其中第一个字节06代表的是之后多少个字节属于字符串，也就是“3C 69 6E 69 74 3E”，而最后一个字节的00其实是字符串结尾的空字节，但是计数的时候并没有算上而已，总结一下这个dex文件中所有的字符串如下：

先看一下第一个4字节的值“02 00 00 00 ”，对照之前我们整理的字符串的表格，就是LPino；即Pino类型的，整理一下所有的类型，如下

这里数量就是3，位置偏移为C4，跟过去看下

蓝色选中的部分就是所有的方法原型的结构了，这里又涉及到了一个新的数据结构

这三个属性分别是第一个是方法声明的字符串，第二个是方法的返回类型，第三个是方法的参数列表，其中DexTypeList是新的数据结构

回过头来看一下蓝色部分，12个字节，第一个4字节为8，说明DexStringId列表的索引是8，也就是V，第二个4字节是5，也就是V，最后一个是0，也就是没有参数，第一个方法就是void ()，整理一下其他的如下：

也就是一个DexFieldId是8个字节

classIdx的值是4，也就是Ljava/lang/System;，typeIdx的值是1，也就是Ljava/io/PrintStream;，nameIdx的值是C，也就是out，总结一下字段如下：

也就是说每个DexMethodId占8个字节，第一个8字节中的classIdx的值是0，也就是LPino;，protoIdx的值也是0，也就是void()，第三nameIdx也是0，也就是<init>，综合起来就是void Pino.<init>(),整理一下所有的方法如下：

上面的数据结构28个字节，内容的话看注释也能看懂，我们直接上实例，在这里，classIdx是1，也就是LPino;，第二个accessFlags是1，也就是public，第三个superclassIdx是2，也就是父类是java.lang.Object，第四个interfacesOff是0，就是没有，第五个是sourceFileIdx是7，也就是Pino.java，第六个是annotationOff，是0，没有，第七个classData是22D，也就是DexClassData的偏移是22D，我们先来看看DexClassData的结构体

这里面又涉及到了其他三种结构体

这里需要注意的一点的就是这里的u4并不是值4字节，而是值uleb128的类型，具体是什么可以自行网络。

现在我们再去22D的位置看看

从这里可以判断姿态字段0个，实例字段0个，直接方法2个，虚方法0个。因为staticFields和instanceFields都是0个，所以直接从directMethods来看了，methodIdx为0，也就是void Pino.<init>()，accessFlags的值为“81 80 04”，这个是uleb128编码的，转换为16进制的话就是10001h，对照一下DexFile.h文件，知道方法是ACC_PUBLIC和ACC_CONSTRUCTOR

㈦ 数据分析方法

常见的分析方法有：分类分析，矩阵分析，漏斗分析，相关分析，逻辑树分析，趋势分析，行为轨迹分析，等等。 我用HR的工作来举例，说明上面这些分析要怎么做，才能得出洞见。

01） 分类分析
比如分成不同部门、不同岗位层级、不同年龄段，来分析人才流失率。比如发现某个部门流失率特别高，那么就可以去分析。

02） 矩阵分析
比如公司有价值观和能力的考核，那么可以把考核结果做出矩阵图，能力强价值匹配的员工、能力强价值不匹配的员工、能力弱价值匹配的员工、能力弱价值不匹配的员工各占多少比例，从而发现公司的人才健康度。

03） 漏斗分析
比如记录招聘数据，投递简历、通过初筛、通过一面、通过二面、通过终面、接下Offer、成功入职、通过试用期，这就是一个完整的招聘漏斗，从数据中，可以看到哪个环节还可以优化。

04） 相关分析
比如公司各个分店的人才流失率差异较大，那么可以把各个分店的员工流失率，跟分店的一些特性（地理位置、薪酬水平、福利水平、员工年龄、管理人员年龄等）要素进行相关性分析，找到最能够挽留员工的关键因素。

05） 逻辑树分析
比如近期发现员工的满意度有所降低，那么就进行拆解，满意度跟薪酬、福利、职业发展、工作氛围有关，然后薪酬分为基本薪资和奖金，这样层层拆解，找出满意度各个影响因素里面的变化因素，从而得出洞见。

06） 趋势分析
比如人才流失率过去12个月的变化趋势。

07）行为轨迹分析
比如跟踪一个销售人员的行为轨迹，从入职、到开始产生业绩、到业绩快速增长、到疲惫期、到逐渐稳定。

㈧ 拿到招标文件后，如何分析招标文件的重点

招标文件内容一般包括如招标公告（或投标邀请书)、投标人须知、评标办法、合同条款及格式、图纸、工程量清单、技术标准和要求、投标文件格式等内容，需要重点关注每一项的要求和重点事项。

要快速准确分析完一份招标文件需花费较多时间，现在除了人工手动分析外，也可以借助标事通招标文件解析功能，帮助投标人拿到招标文件后第一时间能够实现对招标文件全面解析，会提示招标文件关键信息，进行结构化节点处理，建立快速导航，实现便捷阅读；同时在文件中明确标注出招标星号项、废标项信息，保障投标人的投标合规不漏项。可以将大量减少投标人解读文件的时间成本，提高解读文件的效率，帮助投标人抢占先机。

扩充资料：

什么是招标文件

招标文件的组成内容包括招标公告（或投标邀请书）、投标人须知、评标办法、合同条件及格式、工程量清单、图纸、技术标准和要求、投标文件格式和投标人须知前附表规定的其他材料。具体来说，就是《招标投标法》第十八条：招标采购单位应当根据招标项目的特点和需求编制招标文件。

招标文件包括以下内容：

（一）投标邀请；

（二）投标人须知（包括密封、签署、盖章要求等）；

（三）投标人应当提交的资格、资信证明文件；

（四）投标报价要求、投标文件编制要求和投标保证金交纳方式；

（五）招标项目的技术规格、要求和数量，包括附件、图纸等；

（六）合同主要条款及合同签订方式；

（七）交货和提供服务的时间；

（八）评标方法、评标标准和废标条款；

（九）投标截止时间、开标时间及地点；

（十）省级以上财政部门规定的其他事项。

不同的行业，不同的招标项目，其对应的招标文件组成内容可能有所不同，但是实际的招标文件必包含：公开招标公告、招标需求、投标人须知、评标方法和标准、合同主要条款、投标文件格式。