主要是聊基礎(chǔ)算法知識和代碼題。
又到安利Python的時(shí)間， 最終代碼不超過30行（優(yōu)化前），加上優(yōu)化也不過40行。
第一步. 構(gòu)造Trie（用dict登記結(jié)點(diǎn)信息和維持子結(jié)點(diǎn)集合）：
-- 思路：對詞典中的每個(gè)單詞，逐詞逐字母拓展Trie，單詞完結(jié)處的結(jié)點(diǎn)用None標(biāo)識。
def make_trie(words):
trie = {}
for word in words:
t = trie
for c in word:
if c not in t: t[c] = {}
t = t[c]
t[None] = None
return trie
第二步. 容錯(cuò)查找（容錯(cuò)數(shù)為tol）：
-- 思路：實(shí)質(zhì)上是對Trie的深度優(yōu)先搜索，每一步加深時(shí)就消耗目標(biāo)詞的一個(gè)字母。當(dāng)搜索到達(dá)某個(gè)結(jié)點(diǎn)時(shí)，分為不消耗容錯(cuò)數(shù)和消耗容錯(cuò)數(shù)的情形，繼續(xù)搜索直到目標(biāo)詞為空。搜索過程中，用path記錄搜索路徑，該路徑即為一個(gè)詞典中存在的詞，作為糾錯(cuò)的參考。
-- 最終結(jié)果即為諸多搜索停止位置的結(jié)點(diǎn)路徑的并集。
def check_fuzzy(trie, word, path='', tol=1):
if word == '':
return {path} if None in trie else set()
else:
p0 = set()
if word[0] in trie:
p0 = check_fuzzy(trie[word[0]], word[1:], path+word[0], tol)
p1 = set()
if tol > 0:
for k in trie:
if k is not None and k != word[0]:
p1.update(check_fuzzy(trie[k], word[1:], path+k, tol-1))
return p0 | p1簡單測試代碼 ------
構(gòu)造Trie：
words = ['hello', 'hela', 'dome']
t = make_trie(words)
In [11]: t
Out[11]:
{'d': {'o': {'m': {'e': {'$': {}}}}},
'h': {'e': {'l': {'a': {'$': {}}, 'l': {'o': {'$': {}}}}}}}
容錯(cuò)查找：
In [50]: check_fuzzy(t, 'hellu', tol=0)
Out[50]: {}
In [51]: check_fuzzy(t, 'hellu', tol=1)
Out[51]: {'hello'}
In [52]: check_fuzzy(t, 'healu', tol=1)
Out[52]: {}
In [53]: check_fuzzy(t, 'healu', tol=2)
Out[53]: {'hello'}
似乎靠譜~
---------------------------分--割--線--------------------------------------
以上是基于Trie的approach，另外的approach可以參看@黃振童鞋推薦Peter Norvig即P神的How to Write a Spelling Corrector
雖然我已有意無意模仿P神的代碼風(fēng)格，但每次看到P神的源碼還是立馬跪...
話說word[1:]這種表達(dá)方式其實(shí)是有淵源的，相信有的童鞋對(cdr word)早已爛熟于心...（呵呵
------------------------分-----割-----線-----二--------------------------------------
回歸正題.....有童鞋說可不可以增加新的容錯(cuò)條件，比如增刪字母，我大致對v2方法作了點(diǎn)拓展，得到下面的v3版本。
拓展的關(guān)鍵在于遞歸的終止，即每一次遞歸調(diào)用必須對參數(shù)進(jìn)行有效縮減，要么是參數(shù)word，要么是參數(shù)tol~
def check_fuzzy(trie, word, path='', tol=1):
if tol < 0:
return set()
elif word == '':
results = set()
if None in trie:
results.add(path)
# 增加詞尾字母
for k in trie:
if k is not None:
results |= check_fuzzy(trie[k], '', path+k, tol-1)
return results
else:
results = set()
# 首字母匹配
if word[0] in trie:
results |= check_fuzzy(trie[word[0]], word[1:], path + word[0], tol)
# 分情形繼續(xù)搜索（相當(dāng)于保留待探索的回溯分支）
for k in trie:
if k is not None and k != word[0]:
# 用可能正確的字母置換首字母
results |= check_fuzzy(trie[k], word[1:], path+k, tol-1)
# 插入可能正確的字母作為首字母
results |= check_fuzzy(trie[k], word, path+k, tol-1)
# 跳過余詞首字母
results |= check_fuzzy(trie, word[1:], path, tol-1)
# 交換原詞頭兩個(gè)字母
if len(word) > 1:
results |= check_fuzzy(trie, word[1]+word[0]+word[2:], path, tol-1)
return results好像還是沒有過30行……注釋不算（
本答案的算法只在追求極致簡潔的表達(dá)，概括問題的大致思路。至于實(shí)際應(yīng)用的話可能需要很多Adaption和Tuning，包括基于統(tǒng)計(jì)和學(xué)習(xí)得到一些詞語校正的bias。我猜測這些拓展都可以反映到Trie的結(jié)點(diǎn)構(gòu)造上面，比如在結(jié)點(diǎn)處附加一個(gè)概率值，通過這個(gè)概率值來影響搜索傾向；也可能反映到更多的搜索分支的控制參數(shù)上面，比如增加一些更有腦洞的搜索分支。（更細(xì)節(jié)的問題這里就不深入了逃
----------------------------------分-割-線-三----------------------------------------
童鞋們可能會關(guān)心時(shí)間和空間復(fù)雜度的問題，因?yàn)樯鲜鲞@種優(yōu)（cu）雅（bao）的寫法會導(dǎo)致產(chǎn)生的集合對象呈指數(shù)級增加，集合的合并操作時(shí)間也指數(shù)級增加，還使得gc不堪重負(fù)。而且，我們并不希望搜索算法一下就把所有結(jié)果枚舉出來（消耗的時(shí)間亦太昂貴），有可能我們只需要搜索結(jié)果的集合中前三個(gè)結(jié)果，如果不滿意再搜索三個(gè)，諸如此類...
那腫么辦呢？................是時(shí)候祭出yield小魔杖了? ??)ノ
下述版本姑且稱之為lazy，看上去和v3很像（其實(shí)它倆在語義上是幾乎等同的
def check_lazy(trie, word, path='', tol=1):
if tol < 0:
pass
elif word == '':
if None in trie:
yield path
# 增加詞尾字母
for k in trie:
if k is not None:
yield from check_lazy(trie[k], '', path + k, tol - 1)
else:
if word[0] in trie:
# 首字母匹配成功
yield from check_lazy(trie[word[0]], word[1:], path+word[0], tol)
# 分情形繼續(xù)搜索（相當(dāng)于保留待探索的回溯分支）
for k in trie:
if k is not None and k != word[0]:
# 用可能正確的字母置換首字母
yield from check_lazy(trie[k], word[1:], path+k, tol-1)
# 插入可能正確的字母作為首字母
yield from check_lazy(trie[k], word, path+k, tol-1)
# 跳過余詞首字母
yield from check_lazy(trie, word[1:], path, tol-1)
# 交換原詞頭兩個(gè)字母
if len(word) > 1:
yield from check_lazy(trie, word[1]+word[0]+word[2:], path, tol-1)不借助任何容器對象，我們近乎聲明式地使用遞歸子序列拼接成了一個(gè)序列。
[新手注釋] yield是什么意思呢？就是程序暫停在這里了，返回給你一個(gè)結(jié)果，然后當(dāng)你調(diào)用next的時(shí)候，它從暫停的位置繼續(xù)走，直到有下個(gè)結(jié)果然后再暫停。要理解yield，你得先理解yield... Nonono，你得先理解iter函數(shù)和next函數(shù)，然后再深入理解for循環(huán)，具體內(nèi)容童鞋們可以看官方文檔。而yield from x即相當(dāng)于for y in x: yield y。
給剛認(rèn)識yield的童鞋一個(gè)小科普，順便回憶一下組合數(shù)C(n,m)的定義即
C(n, m) = C(n-1, m-1) + C(n-1, m)
如果我們把C視為根據(jù)n和m確定的集合，加號視為并集，利用下面這個(gè)generator我們可以懶惰地逐步獲取所有組合元素：
def combinations(seq, m):
if m > len(seq):
raise ValueError('Cannot choose more than sequence has.')
elif m == 0:
yield ()
elif m == len(seq):
yield tuple(seq)
else:
for p in combinations(seq[1:], m-1):
yield (seq[0],) + p
yield from combinations(seq[1:], m)
for combi in combinations('abcde', 2):
print(combi)可以看到，generator結(jié)構(gòu)精準(zhǔn)地反映了集合運(yùn)算的特征，而且蘊(yùn)含了對元素進(jìn)行映射的邏輯，可讀性非常強(qiáng)。
OK，代碼到此為止。利用next函數(shù)，我們可以懶惰地獲取查找結(jié)果。
In [54]: words = ['hell', 'hello', 'hela', 'helmut', 'dome']
In [55]: t = make_trie(words)
In [57]: c = check_lazy(t, 'hell')
In [58]: next(c)
Out[58]: 'hell'
In [59]: next(c)
Out[59]: 'hello'
In [60]: next(c)
Out[60]: 'hela'話說回來，lazy的一個(gè)問題在于我們不能提前預(yù)測并剔除重復(fù)的元素。你可以采用一個(gè)小利器decorator，修飾一個(gè)generator，保證結(jié)果不重復(fù)。
from functools import wraps
def uniq(func):
@wraps(func)
def _func(*a, **kw):
seen = set()
it = func(*a, **kw)
while 1:
x = next(it)
if x not in seen:
yield x
seen.add(x)
return _func這個(gè)url打開的文件包含常用英語詞匯，可以用來測試代碼：
In [10]: import urllib
In [11]: f = urllib.request.urlopen("https://raw.githubusercontent.com/eneko/data-repository/master/data/words.txt")
# 去除換行符
In [12]: t = make_trie(line.decode().strip() for line in f.readlines())
In [13]: f.close()----------------------分-割-線-四-----------------------------
最后的最后，Python中遞歸是很昂貴的，但是遞歸的優(yōu)勢在于描述問題。為了追求極致性能，我們可以把遞歸轉(zhuǎn)成迭代，把去除重復(fù)的邏輯直接代入進(jìn)來，于是有了這個(gè)v4版本：
from collections import deque
def check_iter(trie, word, tol=1):
seen = set()
q = deque([(trie, word, '', tol)])
while q:
trie, word, path, tol = q.popleft()
if word == '':
if None in trie:
if path not in seen:
seen.add(path)
yield path
if tol > 0:
for k in trie:
if k is not None:
q.appendleft((trie[k], '', path+k, tol-1))
else:
if word[0] in trie:
q.appendleft((trie[word[0]], word[1:], path+word[0], tol))
if tol > 0:
for k in trie.keys():
if k is not None and k != word[0]:
q.append((trie[k], word[1:], path+k, tol-1))
q.append((trie[k], word, path+k, tol-1))
q.append((trie, word[1:], path, tol-1))
if len(word) > 1:
q.append((trie, word[1]+word[0]+word[2:], path, tol-1)) 可以看到，轉(zhuǎn)為迭代方式后我們?nèi)匀豢梢宰畲蟪潭缺Ａ暨f歸風(fēng)格的程序形狀，但也提供了更強(qiáng)的靈活性（對于遞歸，相當(dāng)于我們只能用棧來實(shí)現(xiàn)這個(gè)q）?；谶@種迭代程序的結(jié)構(gòu)，如果你有詞頻數(shù)據(jù)，可以用該數(shù)據(jù)維持一個(gè)最優(yōu)堆q，甚至可以是根據(jù)上下文自動調(diào)整詞頻的動態(tài)堆，維持高頻詞匯在堆頂，為詞語修正節(jié)省不少性能。這里就不深入了。
【可選的一步】我們在對單詞進(jìn)行糾正的時(shí)候往往傾向于認(rèn)為首字母是無誤的，利用這個(gè)現(xiàn)象可以減輕不少搜索壓力，花費(fèi)的時(shí)間可以少數(shù)倍。
def check_head_fixed(trie, word, tol=1):
for p in check_lazy(trie[word[0]], word[1:], tol=tol):
yield word[0] + p最終我們簡單地benchmark一下：
In [18]: list(check_head_fixed(trie, 'misella', tol=2))
Out[18]:
['micellar',
'malella',
'mesilla',
'morella',
'mysell',
'micelle',
'milla',
'misally',
'mistell',
'miserly']
In [19]: %timeit list(check_head_fixed(trie, 'misella', tol=2))
1.52 ms ± 2.84 μs per loop (mean ± std. dev. of 7 runs, 1000 loops each)在Win10的i7上可以在兩毫秒左右返回所有結(jié)果，可以說令人滿意。
在當(dāng)今數(shù)字化時(shí)代，大數(shù)據(jù)已成為各行各業(yè)不可忽視的重要資產(chǎn)。對于數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師來說，掌握大數(shù)據(jù)算法是至關(guān)重要的技能之一。隨著數(shù)據(jù)量的不斷增長和復(fù)雜性的提升，大數(shù)據(jù)算法的應(yīng)用范圍也越來越廣泛。
大數(shù)據(jù)算法是指為處理大規(guī)模數(shù)據(jù)而設(shè)計(jì)的一組算法和技術(shù)。在處理海量數(shù)據(jù)時(shí)，傳統(tǒng)的算法可能無法有效地運(yùn)行，因此需要專門針對大數(shù)據(jù)量級和特點(diǎn)設(shè)計(jì)的算法來進(jìn)行處理。
大數(shù)據(jù)算法的重要性在于它可以幫助企業(yè)從海量數(shù)據(jù)中提取出有用的信息、模式和見解，為決策提供支持。通過運(yùn)用大數(shù)據(jù)算法，企業(yè)可以更好地理解客戶需求、優(yōu)化產(chǎn)品設(shè)計(jì)、改進(jìn)營銷策略，從而提升競爭力。
下面列舉了一些常見的大數(shù)據(jù)算法面試題，希望能夠幫助準(zhǔn)備面試的同學(xué)更好地理解和掌握相關(guān)知識：
為了更好地準(zhǔn)備大數(shù)據(jù)算法面試，以下是一些建議：
大數(shù)據(jù)算法在當(dāng)今信息爆炸的時(shí)代扮演著至關(guān)重要的角色，對于從事數(shù)據(jù)分析和數(shù)據(jù)科學(xué)相關(guān)工作的人員來說，掌握大數(shù)據(jù)算法是必備的技能之一。通過不斷學(xué)習(xí)、實(shí)踐和應(yīng)用，相信每個(gè)人都可以在大數(shù)據(jù)算法領(lǐng)域取得優(yōu)異的成績。
機(jī)器學(xué)習(xí)是當(dāng)今科技領(lǐng)域的熱門話題之一，許多公司在招聘過程中更加重視求職者對機(jī)器學(xué)習(xí)算法基礎(chǔ)的掌握。在面試中，面試官往往會提出一些與機(jī)器學(xué)習(xí)算法基礎(chǔ)相關(guān)的問題，這些問題不僅考察了求職者的專業(yè)知識水平，還展現(xiàn)了求職者解決問題的能力和邏輯思維能力。
在面試中，經(jīng)常會被問及一些與機(jī)器學(xué)習(xí)算法基礎(chǔ)相關(guān)的問題，下面列舉了一些常見的面試題：
機(jī)器學(xué)習(xí)是一種通過對數(shù)據(jù)進(jìn)行學(xué)習(xí)和分析，使計(jì)算機(jī)系統(tǒng)能夠自動學(xué)習(xí)和改進(jìn)的技術(shù)。它主要利用統(tǒng)計(jì)學(xué)和數(shù)據(jù)分析來讓計(jì)算機(jī)系統(tǒng)具備學(xué)習(xí)的能力。
監(jiān)督學(xué)習(xí)是一種通過已知輸入和輸出數(shù)據(jù)之間的關(guān)系來訓(xùn)練模型的機(jī)器學(xué)習(xí)方法，而無監(jiān)督學(xué)習(xí)則是通過不需要標(biāo)記的輸入數(shù)據(jù)來學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)和模式。
回歸分析是一種用于研究變量之間關(guān)系的統(tǒng)計(jì)學(xué)方法，它能夠預(yù)測一個(gè)變量如何隨著另一個(gè)或多個(gè)變量的變化而變化。
決策樹算法是一種用于分類和回歸問題的機(jī)器學(xué)習(xí)算法，它通過構(gòu)建一個(gè)樹狀結(jié)構(gòu)來模擬決策過程，根據(jù)輸入特征進(jìn)行判斷并輸出結(jié)果。
神經(jīng)網(wǎng)絡(luò)是一種模仿人腦神經(jīng)元之間信息傳遞方式的算法模型，它通過多層神經(jīng)元之間的連接來實(shí)現(xiàn)復(fù)雜的學(xué)習(xí)任務(wù)。
準(zhǔn)備機(jī)器學(xué)習(xí)算法基礎(chǔ)面試題需要一定的時(shí)間和系統(tǒng)性的學(xué)習(xí)過程。以下是一些建議：
熟悉常見的機(jī)器學(xué)習(xí)算法，了解其原理和應(yīng)用場景，掌握算法背后的數(shù)學(xué)原理，對于面試中的問題能夠做到心中有數(shù)。
在學(xué)習(xí)過程中進(jìn)行實(shí)踐項(xiàng)目和練習(xí)題能夠幫助加深對機(jī)器學(xué)習(xí)算法的理解和應(yīng)用，同時(shí)也能夠提高解決問題的能力。
參加機(jī)器學(xué)習(xí)相關(guān)的培訓(xùn)和課程能夠系統(tǒng)性地學(xué)習(xí)知識，并且有機(jī)會和其他學(xué)習(xí)者進(jìn)行交流，共同提高。
關(guān)注機(jī)器學(xué)習(xí)領(lǐng)域的學(xué)術(shù)進(jìn)展和發(fā)展趨勢，及時(shí)了解最新的算法和技術(shù)，對于面試中的問題更有把握。
了解機(jī)器學(xué)習(xí)算法基礎(chǔ)面試題的重要性，通過對常見問題的準(zhǔn)備和學(xué)習(xí)，能夠更好地在面試中展現(xiàn)自己的專業(yè)能力和解決問題的能力。不斷學(xué)習(xí)和提升自己，在機(jī)器學(xué)習(xí)領(lǐng)域走得更遠(yuǎn)！
機(jī)器學(xué)習(xí)面試題考算法是很多求職者在準(zhǔn)備機(jī)器學(xué)習(xí)崗位面試時(shí)必須要重點(diǎn)關(guān)注的部分。隨著人工智能和數(shù)據(jù)科學(xué)領(lǐng)域的快速發(fā)展，對于機(jī)器學(xué)習(xí)算法的掌握和應(yīng)用已經(jīng)成為許多公司招聘機(jī)器學(xué)習(xí)工程師的重要考量因素之一。
在面試過程中，除了基礎(chǔ)知識的考察，對于候選人解決實(shí)際問題的能力以及對機(jī)器學(xué)習(xí)算法的理解深度也會進(jìn)行更深入的評估。因此，熟悉并掌握一些常見的機(jī)器學(xué)習(xí)面試題目及相關(guān)算法是至關(guān)重要的。
在準(zhǔn)備機(jī)器學(xué)習(xí)面試時(shí)，候選人需要熟悉一些常見的面試題目，以確保能夠在面試中游刃有余地回答問題。下面列舉了一些常見的機(jī)器學(xué)習(xí)面試題目，供大家參考：
這是一個(gè)基礎(chǔ)性問題，面試官通常會詢問候選人對機(jī)器學(xué)習(xí)的定義以及其作用和應(yīng)用領(lǐng)域。
候選人需要了解監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等機(jī)器學(xué)習(xí)算法的分類，以及它們的應(yīng)用場景和區(qū)別。
過擬合和欠擬合是機(jī)器學(xué)習(xí)模型常見的問題，候選人需要解釋這兩個(gè)概念，并討論如何通過調(diào)整模型參數(shù)或采用正則化方法來避免這些問題。
候選人需要清楚地表述邏輯回歸和線性回歸的區(qū)別，包括適用場景、原理和模型形式等方面的差異。
面試官可能會詢問候選人對支持向量機(jī)的理解和應(yīng)用，包括核技巧、軟間隔和硬間隔等概念。
了解機(jī)器學(xué)習(xí)算法的基本概念和原理是重要的，但更加重要的是能夠?qū)⑦@些算法應(yīng)用于實(shí)際場景中解決問題。下面介紹了一些常見的機(jī)器學(xué)習(xí)算法應(yīng)用場景，供候選人參考：
機(jī)器學(xué)習(xí)在金融領(lǐng)域的應(yīng)用非常廣泛，包括風(fēng)險(xiǎn)評估、詐騙檢測、貸款預(yù)測等方面。
機(jī)器學(xué)習(xí)在醫(yī)療衛(wèi)生領(lǐng)域的應(yīng)用涵蓋疾病診斷、影像處理、基因組學(xué)等多個(gè)方面。
零售行業(yè)利用機(jī)器學(xué)習(xí)算法進(jìn)行銷售預(yù)測、客戶行為分析、庫存管理等，提升營銷效率。
機(jī)器學(xué)習(xí)可用于交通流量預(yù)測、智能交通管理系統(tǒng)和無人駕駛技術(shù)等方面，極大地改善交通效率和安全性。
農(nóng)業(yè)領(lǐng)域中的機(jī)器學(xué)習(xí)應(yīng)用主要集中在精準(zhǔn)農(nóng)業(yè)、作物病害識別和農(nóng)作物產(chǎn)量預(yù)測等方面，幫助農(nóng)民提高生產(chǎn)效率。
機(jī)器學(xué)習(xí)面試題考算法是候選人在準(zhǔn)備機(jī)器學(xué)習(xí)崗位面試時(shí)需要重點(diǎn)關(guān)注的內(nèi)容之一。通過熟悉常見的機(jī)器學(xué)習(xí)面試題目和相關(guān)算法，以及了解機(jī)器學(xué)習(xí)算法的應(yīng)用場景，候選人可以提升自己的面試表現(xiàn)，增加獲得心儀工作機(jī)會的機(jī)會。持續(xù)學(xué)習(xí)和實(shí)踐將幫助候選人在競爭激烈的機(jī)器學(xué)習(xí)領(lǐng)域中脫穎而出。
之前看了Mahout官方示例 20news 的調(diào)用實(shí)現(xiàn)；于是想根據(jù)示例的流程實(shí)現(xiàn)其他例子。網(wǎng)上看到了一個(gè)關(guān)于天氣適不適合打羽毛球的例子。
訓(xùn)練數(shù)據(jù)：
Day Outlook Temperature Humidity Wind PlayTennis
D1 Sunny Hot High Weak No
D2 Sunny Hot High Strong No
D3 Overcast Hot High Weak Yes
D4 Rain Mild High Weak Yes
D5 Rain Cool Normal Weak Yes
D6 Rain Cool Normal Strong No
D7 Overcast Cool Normal Strong Yes
D8 Sunny Mild High Weak No
D9 Sunny Cool Normal Weak Yes
D10 Rain Mild Normal Weak Yes
D11 Sunny Mild Normal Strong Yes
D12 Overcast Mild High Strong Yes
D13 Overcast Hot Normal Weak Yes
D14 Rain Mild High Strong No
檢測數(shù)據(jù)：
sunny，hot，high，weak
結(jié)果：
Yes=》 0.007039
No=》 0.027418
于是使用Java代碼調(diào)用Mahout的工具類實(shí)現(xiàn)分類。
基本思想：
1. 構(gòu)造分類數(shù)據(jù)。
2. 使用Mahout工具類進(jìn)行訓(xùn)練，得到訓(xùn)練模型。
3。將要檢測數(shù)據(jù)轉(zhuǎn)換成vector數(shù)據(jù)。
4. 分類器對vector數(shù)據(jù)進(jìn)行分類。
接下來貼下我的代碼實(shí)現(xiàn)=》
1. 構(gòu)造分類數(shù)據(jù)：
在hdfs主要?jiǎng)?chuàng)建一個(gè)文件夾路徑 /zhoujainfeng/playtennis/input 并將分類文件夾 no 和 yes 的數(shù)據(jù)傳到hdfs上面。
數(shù)據(jù)文件格式，如D1文件內(nèi)容： Sunny Hot High Weak
2. 使用Mahout工具類進(jìn)行訓(xùn)練，得到訓(xùn)練模型。
3。將要檢測數(shù)據(jù)轉(zhuǎn)換成vector數(shù)據(jù)。
4. 分類器對vector數(shù)據(jù)進(jìn)行分類。
這三步，代碼我就一次全貼出來；主要是兩個(gè)類 PlayTennis1 和 BayesCheckData = =》
package myTesting.bayes;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.util.ToolRunner;
import org.apache.mahout.classifier.naivebayes.training.TrainNaiveBayesJob;
import org.apache.mahout.text.SequenceFilesFromDirectory;
import org.apache.mahout.vectorizer.SparseVectorsFromSequenceFiles;
public class PlayTennis1 {
private static final String WORK_DIR = "hdfs://192.168.9.72:9000/zhoujianfeng/playtennis";
/*
* 測試代碼
*/
public static void main(String[] args) {
//將訓(xùn)練數(shù)據(jù)轉(zhuǎn)換成 vector數(shù)據(jù)
makeTrainVector();
//產(chǎn)生訓(xùn)練模型
makeModel(false);
//測試檢測數(shù)據(jù)
BayesCheckData.printResult();
}
public static void makeCheckVector(){
//將測試數(shù)據(jù)轉(zhuǎn)換成序列化文件
try {
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String input = WORK_DIR+Path.SEPARATOR+"testinput";
String output = WORK_DIR+Path.SEPARATOR+"tennis-test-seq";
Path in = new Path(input);
Path out = new Path(output);
FileSystem fs = FileSystem.get(conf);
if(fs.exists(in)){
if(fs.exists(out)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(out, true);
}
SequenceFilesFromDirectory sffd = new SequenceFilesFromDirectory();
String[] params = new String[]{"-i",input,"-o",output,"-ow"};
ToolRunner.run(sffd, params);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("文件序列化失??！");
System.exit(1);
}
//將序列化文件轉(zhuǎn)換成向量文件
try {
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String input = WORK_DIR+Path.SEPARATOR+"tennis-test-seq";
String output = WORK_DIR+Path.SEPARATOR+"tennis-test-vectors";
Path in = new Path(input);
Path out = new Path(output);
FileSystem fs = FileSystem.get(conf);
if(fs.exists(in)){
if(fs.exists(out)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(out, true);
}
SparseVectorsFromSequenceFiles svfsf = new SparseVectorsFromSequenceFiles();
String[] params = new String[]{"-i",input,"-o",output,"-lnorm","-nv","-wt","tfidf"};
ToolRunner.run(svfsf, params);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("序列化文件轉(zhuǎn)換成向量失敗！");
System.out.println(2);
}
}
public static void makeTrainVector(){
//將測試數(shù)據(jù)轉(zhuǎn)換成序列化文件
try {
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String input = WORK_DIR+Path.SEPARATOR+"input";
String output = WORK_DIR+Path.SEPARATOR+"tennis-seq";
Path in = new Path(input);
Path out = new Path(output);
FileSystem fs = FileSystem.get(conf);
if(fs.exists(in)){
if(fs.exists(out)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(out, true);
}
SequenceFilesFromDirectory sffd = new SequenceFilesFromDirectory();
String[] params = new String[]{"-i",input,"-o",output,"-ow"};
ToolRunner.run(sffd, params);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("文件序列化失??！");
System.exit(1);
}
//將序列化文件轉(zhuǎn)換成向量文件
try {
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String input = WORK_DIR+Path.SEPARATOR+"tennis-seq";
String output = WORK_DIR+Path.SEPARATOR+"tennis-vectors";
Path in = new Path(input);
Path out = new Path(output);
FileSystem fs = FileSystem.get(conf);
if(fs.exists(in)){
if(fs.exists(out)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(out, true);
}
SparseVectorsFromSequenceFiles svfsf = new SparseVectorsFromSequenceFiles();
String[] params = new String[]{"-i",input,"-o",output,"-lnorm","-nv","-wt","tfidf"};
ToolRunner.run(svfsf, params);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("序列化文件轉(zhuǎn)換成向量失?。?#34;);
System.out.println(2);
}
}
public static void makeModel(boolean completelyNB){
try {
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String input = WORK_DIR+Path.SEPARATOR+"tennis-vectors"+Path.SEPARATOR+"tfidf-vectors";
String model = WORK_DIR+Path.SEPARATOR+"model";
String labelindex = WORK_DIR+Path.SEPARATOR+"labelindex";
Path in = new Path(input);
Path out = new Path(model);
Path label = new Path(labelindex);
FileSystem fs = FileSystem.get(conf);
if(fs.exists(in)){
if(fs.exists(out)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(out, true);
}
if(fs.exists(label)){
//boolean參數(shù)是，是否遞歸刪除的意思
fs.delete(label, true);
}
TrainNaiveBayesJob tnbj = new TrainNaiveBayesJob();
String[] params =null;
if(completelyNB){
params = new String[]{"-i",input,"-el","-o",model,"-li",labelindex,"-ow","-c"};
}else{
params = new String[]{"-i",input,"-el","-o",model,"-li",labelindex,"-ow"};
}
ToolRunner.run(tnbj, params);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("生成訓(xùn)練模型失敗！");
System.exit(3);
}
}
}
package myTesting.bayes;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.PathFilter;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.mahout.classifier.naivebayes.BayesUtils;
import org.apache.mahout.classifier.naivebayes.NaiveBayesModel;
import org.apache.mahout.classifier.naivebayes.StandardNaiveBayesClassifier;
import org.apache.mahout.common.Pair;
import org.apache.mahout.common.iterator.sequencefile.PathType;
import org.apache.mahout.common.iterator.sequencefile.SequenceFileDirIterable;
import org.apache.mahout.math.RandomAccessSparseVector;
import org.apache.mahout.math.Vector;
import org.apache.mahout.math.Vector.Element;
import org.apache.mahout.vectorizer.TFIDF;
import com.google.common.collect.ConcurrentHashMultiset;
import com.google.common.collect.Multiset;
public class BayesCheckData {
private static StandardNaiveBayesClassifier classifier;
private static Map<String, Integer> dictionary;
private static Map<Integer, Long> documentFrequency;
private static Map<Integer, String> labelIndex;
public void init(Configuration conf){
try {
String modelPath = "/zhoujianfeng/playtennis/model";
String dictionaryPath = "/zhoujianfeng/playtennis/tennis-vectors/dictionary.file-0";
String documentFrequencyPath = "/zhoujianfeng/playtennis/tennis-vectors/df-count";
String labelIndexPath = "/zhoujianfeng/playtennis/labelindex";
dictionary = readDictionnary(conf, new Path(dictionaryPath));
documentFrequency = readDocumentFrequency(conf, new Path(documentFrequencyPath));
labelIndex = BayesUtils.readLabelIndex(conf, new Path(labelIndexPath));
NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), conf);
classifier = new StandardNaiveBayesClassifier(model);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.out.println("檢測數(shù)據(jù)構(gòu)造成vectors初始化時(shí)報(bào)錯(cuò)。。。。");
System.exit(4);
}
}
/**
* 加載字典文件，Key: TermValue； Value：TermID
* @param conf
* @param dictionnaryDir
* @return
*/
private static Map<String, Integer> readDictionnary(Configuration conf, Path dictionnaryDir) {
Map<String, Integer> dictionnary = new HashMap<String, Integer>();
PathFilter filter = new PathFilter() {
@Override
public boolean accept(Path path) {
String name = path.getName();
return name.startsWith("dictionary.file");
}
};
for (Pair<Text, IntWritable> pair : new SequenceFileDirIterable<Text, IntWritable>(dictionnaryDir, PathType.LIST, filter, conf)) {
dictionnary.put(pair.getFirst().toString(), pair.getSecond().get());
}
return dictionnary;
}
/**
* 加載df-count目錄下TermDoc頻率文件，Key: TermID； Value：DocFreq
* @param conf
* @param dictionnaryDir
* @return
*/
private static Map<Integer, Long> readDocumentFrequency(Configuration conf, Path documentFrequencyDir) {
Map<Integer, Long> documentFrequency = new HashMap<Integer, Long>();
PathFilter filter = new PathFilter() {
@Override
public boolean accept(Path path) {
return path.getName().startsWith("part-r");
}
};
for (Pair<IntWritable, LongWritable> pair : new SequenceFileDirIterable<IntWritable, LongWritable>(documentFrequencyDir, PathType.LIST, filter, conf)) {
documentFrequency.put(pair.getFirst().get(), pair.getSecond().get());
}
return documentFrequency;
}
public static String getCheckResult(){
Configuration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
String classify = "NaN";
BayesCheckData cdv = new BayesCheckData();
cdv.init(conf);
System.out.println("init done...............");
Vector vector = new RandomAccessSparseVector(10000);
TFIDF tfidf = new TFIDF();
//sunny，hot，high，weak
Multiset<String> words = ConcurrentHashMultiset.create();
words.add("sunny",1);
words.add("hot",1);
words.add("high",1);
words.add("weak",1);
int documentCount = documentFrequency.get(-1).intValue(); // key=-1時(shí)表示總文檔數(shù)
for (Multiset.Entry<String> entry : words.entrySet()) {
String word = entry.getElement();
int count = entry.getCount();
Integer wordId = dictionary.get(word); // 需要從dictionary.file-0文件（tf-vector）下得到wordID，
if (StringUtils.isEmpty(wordId.toString())){
continue;
}
if (documentFrequency.get(wordId) == null){
continue;
}
Long freq = documentFrequency.get(wordId);
double tfIdfValue = tfidf.calculate(count, freq.intValue(), 1, documentCount);
vector.setQuick(wordId, tfIdfValue);
}
// 利用貝葉斯算法開始分類,并提取得分最好的分類label
Vector resultVector = classifier.classifyFull(vector);
double bestScore = -Double.MAX_VALUE;
int bestCategoryId = -1;
for(Element element: resultVector.all()) {
int categoryId = element.index();
double score = element.get();
System.out.println("categoryId:"+categoryId+" score:"+score);
if (score > bestScore) {
bestScore = score;
bestCategoryId = categoryId;
}
}
classify = labelIndex.get(bestCategoryId)+"(categoryId="+bestCategoryId+")";
return classify;
}
public static void printResult(){
System.out.println("檢測所屬類別是："+getCheckResult());
}
}
1. 請介紹一下WebGIS的概念和作用，以及在實(shí)際應(yīng)用中的優(yōu)勢和挑戰(zhàn)。
WebGIS是一種基于Web技術(shù)的地理信息系統(tǒng)，通過將地理數(shù)據(jù)和功能以可視化的方式呈現(xiàn)在Web瀏覽器中，實(shí)現(xiàn)地理空間數(shù)據(jù)的共享和分析。它可以用于地圖瀏覽、空間查詢、地理分析等多種應(yīng)用場景。WebGIS的優(yōu)勢包括易于訪問、跨平臺、實(shí)時(shí)更新、可定制性強(qiáng)等，但也面臨著數(shù)據(jù)安全性、性能優(yōu)化、用戶體驗(yàn)等挑戰(zhàn)。
2. 請談?wù)勀赪ebGIS開發(fā)方面的經(jīng)驗(yàn)和技能。
我在WebGIS開發(fā)方面有豐富的經(jīng)驗(yàn)和技能。我熟悉常用的WebGIS開發(fā)框架和工具，如ArcGIS API for JavaScript、Leaflet、OpenLayers等。我能夠使用HTML、CSS和JavaScript等前端技術(shù)進(jìn)行地圖展示和交互設(shè)計(jì)，并能夠使用后端技術(shù)如Python、Java等進(jìn)行地理數(shù)據(jù)處理和分析。我還具備數(shù)據(jù)庫管理和地理空間數(shù)據(jù)建模的能力，能夠設(shè)計(jì)和優(yōu)化WebGIS系統(tǒng)的架構(gòu)。
3. 請描述一下您在以往項(xiàng)目中使用WebGIS解決的具體問題和取得的成果。
在以往的項(xiàng)目中，我使用WebGIS解決了許多具體問題并取得了顯著的成果。例如，在一次城市規(guī)劃項(xiàng)目中，我開發(fā)了一個(gè)基于WebGIS的交通流量分析系統(tǒng)，幫助規(guī)劃師們評估不同交通方案的效果。另外，在一次環(huán)境監(jiān)測項(xiàng)目中，我使用WebGIS技術(shù)實(shí)現(xiàn)了實(shí)時(shí)的空氣質(zhì)量監(jiān)測和預(yù)警系統(tǒng)，提供了準(zhǔn)確的空氣質(zhì)量數(shù)據(jù)和可視化的分析結(jié)果，幫助政府和公眾做出相應(yīng)的決策。
4. 請談?wù)勀鷮ebGIS未來發(fā)展的看法和期望。
我認(rèn)為WebGIS在未來會繼續(xù)發(fā)展壯大。隨著云計(jì)算、大數(shù)據(jù)和人工智能等技術(shù)的不斷進(jìn)步，WebGIS將能夠處理更大規(guī)模的地理數(shù)據(jù)、提供更豐富的地理分析功能，并與其他領(lǐng)域的技術(shù)進(jìn)行深度融合。我期望未來的WebGIS能夠更加智能化、個(gè)性化，為用戶提供更好的地理信息服務(wù)，助力各行各業(yè)的決策和發(fā)展。
這塊您需要了解下stm32等單片機(jī)的基本編程和簡單的硬件設(shè)計(jì)，最好能夠了解模電和數(shù)電相關(guān)的知識更好，還有能夠會做操作系統(tǒng)，簡單的有ucos，freeRTOS等等。最好能夠使用PCB畫圖軟件以及keil4等軟件。希望對您能夠有用。
1.負(fù)責(zé)區(qū)域大客戶/行業(yè)客戶管理系統(tǒng)銷售拓展工作，并完成銷售流程；
2.維護(hù)關(guān)鍵客戶關(guān)系，與客戶決策者保持良好的溝通；
3.管理并帶領(lǐng)團(tuán)隊(duì)完成完成年度銷售任務(wù)。
你好，面試題類型有很多，以下是一些常見的類型：
1. 技術(shù)面試題：考察候選人技術(shù)能力和經(jīng)驗(yàn)。
2. 行為面試題：考察候選人在過去的工作或生活中的行為表現(xiàn)，以預(yù)測其未來的表現(xiàn)。
3. 情境面試題：考察候選人在未知情境下的決策能力和解決問題的能力。
4. 案例面試題：考察候選人解決實(shí)際問題的能力，模擬真實(shí)工作場景。
5. 邏輯推理題：考察候選人的邏輯思維能力和分析能力。
6. 開放性面試題：考察候選人的個(gè)性、價(jià)值觀以及溝通能力。
7. 挑戰(zhàn)性面試題：考察候選人的應(yīng)變能力和創(chuàng)造力，通常是一些非常具有挑戰(zhàn)性的問題。
