大數(shù)據(jù)分析包括尋找有某種預(yù)測能力的埋藏模式。但是，選擇哪些數(shù)據(jù)的“特征”來進行分析通常需要靠人類的直覺。

　

　

　　在一個包含數(shù)據(jù)庫中，舉個例子，各種促銷和每周的利潤的開始和結(jié)束日期，其關(guān)鍵數(shù)據(jù)可能不是日期本身而是它們之間的跨度，或著不是總利潤，但平均跨越這些跨度。

　　這套取代人的直覺與算法的系統(tǒng)，優(yōu)于906個人類團隊中的615個團隊。

　　大數(shù)據(jù)分析包括尋找有某種預(yù)測能力的埋藏模式。但是，選擇哪些數(shù)據(jù)的“特征”來進行分析通常需要靠人類的直覺。在一個包含數(shù)據(jù)庫中，舉個例子，各種促銷和每周的利潤的開始和結(jié)束日期，其關(guān)鍵數(shù)據(jù)可能不是日期本身而是它們之間的跨度，或著不是總利潤，但平均跨越這些跨度。

　　麻省理工學(xué)院的研究人員的目標是，用一個不僅能搜索模式也能設(shè)計特征的新系統(tǒng)把人類元素從大數(shù)據(jù)分析中剝離出來。為了測試他們系統(tǒng)的第一個原型，他們參加了三個數(shù)據(jù)科學(xué)競賽，它與人類團隊比賽，在不熟悉的數(shù)據(jù)集中找到預(yù)測模式。906個團隊參與了三項比賽，研究人員的“數(shù)據(jù)科學(xué)機器”先于615個團隊完成。

　　在三項比賽中，數(shù)據(jù)科學(xué)機器的預(yù)測的準確率是94%和96%。第三個數(shù)字則是一個更為溫和的數(shù)字87%。人類的團隊通常需要進行好幾個月的預(yù)測算法，而數(shù)據(jù)科學(xué)機器產(chǎn)生它的每一個條目只花了2-12小時。

　　“我們把數(shù)據(jù)科學(xué)機器視為人類智能的自然補充，”Kanter說，他在麻省理工的碩士論文是《數(shù)據(jù)科學(xué)機器的基礎(chǔ)》。“有這么多的數(shù)據(jù)需要進行分析。現(xiàn)在它(機器)只是待在那里沒有做任何事。因此，也許我們可以拿出一個至少讓我們能夠開始著手、讓我們前進的解決方案。”

　　項目之間

　　Kanter和他的導(dǎo)師KalyanVeeramachaneni，麻省理工學(xué)院計算機科學(xué)和人工智能實驗室的研究科學(xué)家(CSAIL)，在他們的論文中描述了數(shù)據(jù)科學(xué)機器，Kanter將在下周的IEEE國際科學(xué)數(shù)據(jù)和先進分析會議上發(fā)表。

　　Veeramachaneni統(tǒng)一領(lǐng)導(dǎo)計算機科學(xué)與人工智能實驗室的所有成員組，在大數(shù)據(jù)分析的實際問題中采用機器學(xué)習(xí)技術(shù)，如依據(jù)風電場場址確定其發(fā)電能力或預(yù)測學(xué)生從在線課程中輟學(xué)的風險。

　　“我們從解決一些工業(yè)數(shù)據(jù)科學(xué)問題的經(jīng)驗中觀察到的是一個非常關(guān)鍵的步驟，稱為特征工程，”Veeramachaneni說。“你要做的第一件事就是把你的數(shù)據(jù)從數(shù)據(jù)庫或結(jié)構(gòu)中提取出來，為了做這個，你必須得有很多想法。”

　　例如，2個關(guān)鍵指標被用在預(yù)測輟學(xué)上：一個學(xué)生花多少時間解決一個問題集和一個學(xué)生相比他或她的同學(xué)花了多少時間在課程網(wǎng)站上。麻省理工學(xué)院的在線學(xué)習(xí)平臺MITx不記錄那些統(tǒng)計數(shù)字，但它可以從推斷中收集數(shù)據(jù)。

　　特色組成

　　Kanter和Veeramachaneni使用了一些技巧來制定數(shù)據(jù)分析候選特征。一種是利用數(shù)據(jù)庫設(shè)計中固有的結(jié)構(gòu)關(guān)系。數(shù)據(jù)庫通常在不同的表中存儲不同類型的數(shù)據(jù)，使用數(shù)字標識表示它們之間的相關(guān)性。數(shù)據(jù)科學(xué)機器跟蹤這些相關(guān)性，將它們作為一個線索進行功能建設(shè)。

　　例如，一個表可以列出零售項目和它們的成本;另一個表可能包括在個別客戶購買的項目中列出的項目。數(shù)據(jù)科學(xué)機器將從第一個表中的第一個表輸入到第二個。然后，從第二表的關(guān)聯(lián)的幾個不同的項目中選擇相同的購買數(shù)量，它將執(zhí)行一套操作，以產(chǎn)生候選功能：總成本，每個訂單，每個訂單的平均成本，最低成本，每個訂單，等等。作為跨表格的數(shù)字標識，數(shù)據(jù)科學(xué)機器會在各自層的頂端進行相互操作，找到最小的平均值、平均數(shù)、和等。

　　它也尋找所謂的分類數(shù)據(jù)，這似乎是限制在一個有限的范圍內(nèi)的值，如一周的天數(shù)或品牌名稱。然后，它會依據(jù)劃分現(xiàn)有的跨類別的功能產(chǎn)生新的功能。

　　一旦它生成了一系列的備選項，它會減少它們的數(shù)量以確定這些值具有相關(guān)性。然后開始測試其樣本數(shù)據(jù)的簡化特征，使它們以不同的方式來優(yōu)化它們預(yù)測收益率的準確性。

　　“數(shù)據(jù)科學(xué)機器是一個令人驚奇的、最前沿的研究解決實際問題的項目，是一種看問題的全新的方式。”MargoSeltzer說到，他是一個沒有參與這項工作的哈佛大學(xué)計算機科學(xué)教授。“我想他們所做的將迅速成為一種標準——很快就會。”