Dangerous Minds: The Art of Guerilla Data Mining

No ratings

Presented at ShakaCon 2009 by

The inspiration of this study is the dollar bill.  More specifically the "Eye of Providence" or  the "all‐seeing eye" floating the back of the US dollar bill.  But this presentation is not about  Eyes, or the US Dollar, or the Da Vinci Code but about Knowledge and Information.    It is not a secret that in today's world, information is as valuable or maybe even more  valuable that any military tool that we have out there.  Information is the key. That is why  the US Information Awareness Office's (IAO) motto is "scientia est potential", which means  "knowledge is power". The IAO just like the CIA, FBI and others make information their  business.  Aside  from  these  there  are  multiple  military  related  projects  like  TALON,ECHELON, ADVISE, and MATRIX that are concerned with information gathering and  analysis.    So now in the context of extremely witty acronyms, we would like to present the Virtual  Extraction Review, Insight and Threat Analysis System or VERITAS. Unfortunately, it's not  actually a system but a framework but I guess it would have to be because it would have  much less impact if we called it VERITAF.    VERITAS is a combination of tools and techniques to conduct data mining for security. Think  of it as threat Intelligence in a box. The idea here is to use data mining in order to analyze  and gain insight on different threats.  This can be used to visualize trends (e.g. security  trends, worms, viruses), summarize large data sets (forums, blogs, irc), gather a high level   understanding of a topic (e.g. technologies), and automatically categorize different topics  for research (malware descriptions).  And since it's a framework, you can actually use  different tools and techniques in order to get what you need.    In this presentation I will give a high level overview of the framework, provide background  on data mining, and present some cases to illustrate the approach