如何學習大數據處理？

隨著當今社會的飛速發展。;的信息時代，已經從it時代走到了DT時代。其中，大數據起著至關重要的作用，所以越來越多的人接觸和學習大數據。如何才能學會處理大數據？詳情如下:

1.打牢基礎。

高樓也是從地基開始建的。在學習大數據處理之前，掌握扎實的基本功非常重要，這將決定你未來的高度。基本功包括掌握Python、JAVA等支持大數據、Linux操作系統、常用主流數據的編程語言。圖書館，以及高標準和英語水平。

2.了解大數據相關技術。

了解大數據處理的工作機制，hadoop、spark、strom等關于大數據的主流框架及相關算法軟件。

3.制定合理的學習計劃

有了計劃，學習就有了明確的目標和具體的步驟，可以增強工作的主動性，減少盲目性。根據自己的基礎和學習狀態制定一套切實可行的學習計劃，計劃一定要分解細化。并按照規劃好的方案一步步實施。

4.培養快速學習能力

對于未知的專業知識，可以通過網上搜索、訪問學術網站或查閱學術文獻來學習相關知識，從而快速進入并熟悉未知領域，豐富自己的能力。

5.積累了很多實踐經驗

知識儲備再好，沒有實戰演練也是紙上談兵。在實際項目中體驗所學知識以獲得相應的經驗值，知識才會真正落地并自我提升。

6.養成總結的習慣

只有通過不斷的歸納和及時的復習，才能把學到的知識變成自己能用的能力。對于不夠扎實和遺忘的地方，需要在學習的過程中多思考和總結，以文件的形式記錄下來，變成自己的東西。

tensorflow并行計算原理？

TensorFlow是一個流行的開源庫，設計用于數值計算(最常見的是訓練神經網絡)。在該框架中，計算過程采用數據流圖設計，為改變運算結構和布局提供了極大的靈活性。TEnsorFlow允許多個工作人員并行計算，這有利于必須通過處理大量訓練數據來訓練的神經網絡。此外，如果模型足夠大，這種并行化有時可能是必要的。

在多個計算節點之間分布神經網絡訓練時，通常采用兩種策略:數據并行和模型并行。在前者中，在每個節點上分別創建模型的一個實例，并輸入不同的訓練樣本。這種架構允許更高的訓練吞吐量。相反，在模型并行中，模型是單一的實例分布在多個節點中，這允許訓練更大的模型(不一定適合單節點內存)。如果有必要，這兩種策略也可以結合起來，使一個給定的模型有多個實例，每個實例跨越多個節點。

使用TensorFlow時，數據并行主要有兩種形式:圖內復制和圖間復制。兩種策略中最重要的區別在于流程圖的結構及其結果。

圖像內復制

在這兩種方法中，圖內復制通常被認為是更簡單、更直接(但可擴展性較差)的方法。采用這種策略時，有必要創建一個流程圖，其中包含分布式主機上所有工作設備的副本。可以想象，隨著職工人數的增加。這樣的流程圖可能會大大擴展，從而對模型的性能產生不利影響。然而，對于小型系統(例如，雙GPU桌面計算機)，由于其簡單性，圖片內復制可能是最佳的。

圖形間復制

認識到圖內復制在擴展中的局限性，圖間復制的優勢在于使用大量節點時保證模型性能。這是通過在每個工作者上創建計算圖的副本來實現的，并且主機不需要在每個工作者上保存圖的副本。十幾年前SorFlow技術來協調這些worker的圖形——如果兩個單獨的節點在同一個TensorFlow設備上分配了一個同名的變量，這些分配將被合并，這些變量將共享同一個后端存儲，這樣兩個WOs。Rker將被合并。

但是，您必須確保設備的正確配置。如果兩個工人在不同設備上分配變量，則不會發生合并。TensorFlow提供了replica_device_setter的功能。只要每個工人r按照相同的順序創建計算圖，replica_device_setter提供了明確的變量分配方法，保證變量在同一個設備上。這將在下面的代碼中演示。

因為圖之間的復制在很大程度上重復了原始圖，所以大多數相關的修改實際上都是在集群中節點的配置上。所以下面的代碼片段只會改變這一點。值得注意的是，這個腳本通常在集群中的每臺機器上執行，但是特定的命令行參數數字不一樣。

運行分布式TensorFlow的第一步是使用指定集群的架構。節點通常分為兩個角色(或"工作"):參數服務器("ps")與變量和"工人"他做了很多計算。每個節點的IP地址如下所示。地址和端口。接下來，腳本必須確定它在網絡中的作業類型和索引；這通常是通過向腳本傳遞命令行參數并解析它們來實現的。Job_type指定節點運行ps還是worker任務，而task_idx。指定ps或worker列表中節點的索引。使用上述變量創建用于連接設備的TensorFlow服務器。

接下來，如果節點是參數服務器，它只連接它們的線程并等待它們終止。雖然看起來沒有具體的ps代碼，但是圖元素其實是worker推送給ps的。

相反，如果設備是一個工作者，我們使用replica_device_setter來構建我們的模型，以便在前面討論的這些ps服務器上連續分配參數。這些副本將在很大程度上與單機的流程圖相同。最后，我我們創建一個模型并訓練它。