akka分布式計算方法

A. 如何用akka寫一個簡單的分布式文件系統

1、單機文件系統
用於操作系統和應用程序的本地存儲。

2、網路文件系統（簡稱：NAS）
基於現有乙太網架構，實現不同伺服器之間傳統文件系統數據共享。

3、集群文件系統
在共享存儲基礎上，通過集群鎖，實現不同伺服器能夠共用一個傳統文件系統。

4、分布式文件系統
在傳統文件系統上，通過額外模塊實現數據跨伺服器分布，並且自身集成raid保護功能，可以保證多台伺服器同時訪問、修改同一個文件系統。性能優越，擴展性很好，成本低廉。

B. hadoop、kafka、spark、storm、zookeeper、akka這些都是幹啥的，學習順序怎麼樣的

hadoop、storm、spark、akka是分布式處理框架；
kafka是一種消息隊列；
zookeeper是bbo的服務注冊中心；
由上可見，這些東西相關性沒那麼大，學習是要看應用場景的，如果你在大數據公司里做分布式處理，那hadoop、spark二者之一估計是必學的；如果你要做微服務相關，那zookeeper可能是要了解的（因為也可以選擇eureka）；消息隊列作為常用的消息中間件，在高階應用，也是必然需要掌握的。
學習不分先後，用到了就早學，沒用到的可能一輩子也不會學到。

C. 有哪些Java web里的並發框架，都有哪些

一、並發是一種需求，以下先介紹一下javaweb對於高並發的處理思路：

1、synchronized 關鍵字

可用來給對象和方法或者代碼塊加鎖，當它鎖定一個方法或者一個代碼塊的時候，同一時刻最多隻有一個線程執行這段代碼。可能鎖對象包括： this， 臨界資源對象，Class 類對象

2、同步方法

同步方法鎖定的是當前對象。當多線程通過同一個對象引用多次調用當前同步方法時， 需同步執行。

3、同步代碼塊

同步代碼塊的同步粒度更加細致，是商業開發中推薦的編程方式。可以定位到具體的同步位置，而不是簡單的將方法整體實現同步邏輯。在效率上，相對更高。

A）鎖定臨界對象

同步代碼塊在執行時，是鎖定 object 對象。當多個線程調用同一個方法時，鎖定對象不變的情況下，需同步執行。

B）鎖定當前對象

4、鎖的底層實現

Java 虛擬機中的同步(Synchronization)基於進入和退出管程(Monitor)對象實現。同步方法 並不是由 monitor enter 和 monitor exit 指令來實現同步的，而是由方法調用指令讀取運行時常量池中方法的 ACC_SYNCHRONIZED 標志來隱式實現的。

5、鎖的種類

Java 中鎖的種類大致分為偏向鎖，自旋鎖，輕量級鎖，重量級鎖。

鎖的使用方式為：先提供偏向鎖，如果不滿足的時候，升級為輕量級鎖，再不滿足，升級為重量級鎖。自旋鎖是一個過渡的鎖狀態，不是一種實際的鎖類型。

鎖只能升級，不能降級。

6、volatile 關鍵字

變數的線程可見性。在 CPU 計算過程中，會將計算過程需要的數據載入到 CPU 計算緩存中，當 CPU 計算中斷時，有可能刷新緩存，重新讀取內存中的數據。在線程運行的過程中，如果某變數被其他線程修改，可能造成數據不一致的情況，從而導致結果錯誤。而 volatile 修飾的變數是線程可見的，當 JVM 解釋 volatile 修飾的變數時，會通知 CPU，在計算過程中， 每次使用變數參與計算時，都會檢查內存中的數據是否發生變化，而不是一直使用 CPU 緩存中的數據，可以保證計算結果的正確。

更多、此外還有很多細節需要通過學習去了解和完善，此處就不一一列舉了。

二、並發框架

並發框架很多，如ExecutorService、RxJava、Disruptor、Akka等，具體選擇哪個（或者都不選擇）是根據項目需求選擇的，框架本身的差異並不大，基本都是如下模式

D. spark mllib機器學習什麼語言

1、機器學習概念

1.1機器學習的定義

在維基網路上對機器學習提出以下幾種定義：

l「機器學習是一門人工智慧的科學，該領域的主要研究對象是人工智慧，特別是如何在經驗學習中改善具體演算法的性能」。

l「機器學習是對能通過經驗自動改進的計算機演算法的研究」。

l「機器學習是用數據或以往的經驗，以此優化計算機程序的性能標准。」一種經常引用的英文定義是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E。

可以看出機器學習強調三個關鍵詞：演算法、經驗、性能，其處理過程如下圖所示。

3、Spark MLlib架構解析

E. GitHub上面有哪些經典的java框架源碼

• Bazel：來自Google的構建工具，可以快速、可靠地構建代碼。官網

• Gradle：使用Groovy（非XML）進行增量構建，可以很好地與Maven依賴管理配合工作。官網

• Buck：Facebook構建工具。官網

位元組碼操作

編程方式操作位元組碼的開發庫。

• ASM：通用底層位元組碼操作和分析開發庫。官網

• Byte Buddy：使用流式API進一步簡化位元組碼生成。官網

• Byteman：在運行時通過DSL（規則）操作位元組碼進行測試和故障排除。官網

• Javassist：一個簡化位元組碼編輯嘗試。官網

集群管理

在集群內動態管理應用程序的框架。

• Apache Aurora：Apache Aurora是一個Mesos框架，用於長時間運行服務和定時任務（cron job）。官網

• Singularity：Singularity是一個Mesos框架，方便部署和操作。它支持Web Service、後台運行、調度作業和一次性任務。官網

代碼分析

測量代碼指標和質量工具。

• Checkstyle：代碼編寫規范和標准靜態分析工具。官網

• Error Prone：將常見編程錯誤作為運行時錯誤報告。官網

• FindBugs：通過位元組碼靜態分析查找隱藏bug。官網

• jQAssistant：使用基於Neo4J查詢語言進行代碼靜態分析。官網

• PMD：對源代碼分析查找不良的編程習慣。官網

• SonarQube：通過插件集成其它分析組件，對過去一段時間內的數據進行統計。官網

編譯器生成工具

用來創建解析器、解釋器或編譯器的框架。

• ANTLR：復雜的全功能自頂向下解析框架。官網

• JavaCC：JavaCC是更加專門的輕量級工具，易於上手且支持語法超前預測。官網

外部配置工具

支持外部配置的開發庫。

• config：針對JVM語言的配置庫。官網

• owner：減少冗餘配置屬性。官網

約束滿足問題求解程序

幫助解決約束滿足問題的開發庫。

• Choco：可直接使用的約束滿足問題求解程序，使用了約束規劃技術。官網

• JaCoP：為FlatZinc語言提供了一個介面，可以執行MiniZinc模型。官網

• OptaPlanner：企業規劃與資源調度優化求解程序。官網

• Sat4J：邏輯代數與優化問題最先進的求解程序。官網

持續集成

• Bamboo：Atlassian解決方案，可以很好地集成Atlassian的其他產品。可以選擇開源許可，也可以購買商業版。官網

• CircleCI：提供託管服務，可以免費試用。官網

• Codeship：提供託管服務，提供有限的免費模式。官網

• fabric8：容器集成平台。官網

• Go：ThoughtWork開源解決方案。官網

• Jenkins：支持基於伺服器的部署服務。官網

• TeamCity：JetBrain的持續集成解決方案，有免費版。官網

• Travis：通常用作開源項目的託管服務。官網

• Buildkite: 持續集成工具，用簡單的腳本就能設置pipeline，而且能快速構建，可以免費試用。官網

CSV解析

簡化CSV數據讀寫的框架與開發庫

• uniVocity-parsers：速度最快功能最全的CSV開發庫之一，同時支持TSV與固定寬度記錄的讀寫。官網

資料庫

簡化資料庫交互的相關工具。

• Apache Phoenix：HBase針對低延時應用程序的高性能關系資料庫層。官網

• Crate：實現了數據同步、分片、縮放、復制的分布式數據存儲。除此之外還可以使用基於SQL的語法跨集群查詢。官網

• Flyway：簡單的資料庫遷移工具。官網

• H2：小型SQL資料庫，以可以作為內存資料庫使用著稱。官網

• HikariCP：高性能JDBC連接工具。官網

• JDBI：便捷的JDBC抽象。官網

• Protobuf：Google數據交換格式。官網

• SBE：簡單二進制編碼，是最快速的消息格式之一。官網

• Wire：整潔輕量級協議緩存。官網

幫實現依賴翻轉範式的開發庫。官網

• Apache DeltaSpike：CDI擴展框架。官網

• Dagger2：編譯時注入框架，不需要使用反射。官網

• Guice：可以匹敵Dagger的輕量級注入框架。官網

• HK2：輕量級動態依賴注入框架。官網

開發流程增強工具

從最基本的層面增強開發流程。

• ADT4J：針對代數數據類型的JSR-269代碼生成器。官網

• AspectJ：面向切面編程（AOP）的無縫擴展。官網

• Auto：源代碼生成器集合。官網

• DCEVM：通過修改JVM在運行時支持對已載入的類進行無限次重定義。官網

• HotswapAgent：支持無限次重定義運行時類與資源。官網

• Immutables：類似Scala的條件類。官網

• JHipster：基於Spring Boot與AngularJS應用程序的Yeoman源代碼生成器。官網

• JRebel：無需重新部署，可以即時重新載入代碼與配置的商業軟體。官網

• Lombok：減少冗餘的代碼生成器。官網

• Spring Loaded：類重載代理。官網

• vert.x：多語言事件驅動應用框架。官網

分布式應用

用來編寫分布式容錯應用的開發庫和框架。

• Akka：用來編寫分布式容錯並發事件驅動應用程序的工具和運行時。官網

• Apache Storm：實時計算系統。官網

• Apache ZooKeeper：針對大型分布式系統的協調服務，支持分布式配置、同步和名稱注冊。官網

• Hazelcast：高可擴展內存數據網格。官網

• Hystrix：提供延遲和容錯。官網

• JGroups：提供可靠的消息傳遞和集群創建的工具。官網

• Orbit：支持虛擬角色（Actor），在傳統角色的基礎上增加了另外一層抽象。官網

• Quasar：為JVM提供輕量級線程和角色。官網

分布式資料庫

對應用程序而言，在分布式系統中的資料庫看起來就像是只有一個數據源。

• Apache Cassandra：列式資料庫，可用性高且沒有單點故障。官網

• Apache HBase：針對大數據的Hadoop資料庫。官網

• Druid：實時和歷史OLAP數據存儲，在聚集查詢和近似查詢方面表現不俗。官網

• Infinispan：針對緩存的高並發鍵值對數據存儲。官網

發布

以本機格式發布應用程序的工具。

• Bintray：發布二進制文件版本控制工具。可以於Maven或Gradle一起配合使用。提供開源免費版本和幾種商業收費版本。官網

• Central Repository：最大的二進制組件倉庫，面向開源社區提供免費服務。Apache Maven默認使用Central官網Repository，也可以在所有其他構建工具中使用。

• IzPack：為跨平台部署建立創作工具（Authoring Tool）。官網

• JitPack：打包GitHub倉庫的便捷工具。可根據需要構建Maven、Gradle項目，發布可立即使用的組件。官網

• Launch4j：將JAR包裝為輕量級本機Windows可執行程序。官網

• Nexus：支持代理和緩存功能的二進制管理工具。官網

• packr：將JAR、資源和JVM打包成Windows、Linux和Mac OS X本地發布文件。官網

文檔處理工具

處理Office文檔的開發庫。

• Apache POI：支持OOXML規范（XLSX、DOCX、PPTX）以及OLE2規范（XLS、DOC、PPT）。官網

• documents4j：使用第三方轉換器進行文檔格式轉換，轉成類似MS Word這樣的格式。官網

• jOpenDocument：處理OpenDocument格式（由Sun公司提出基於XML的文檔格式）。官網

函數式編程

函數式編程支持庫。

• Cyclops：支持一元（Monad）操作和流操作工具類、comprehension（List語法）、模式匹配、trampoline等特性。官網

• Fugue：Guava的函數式編程擴展。官網

• Functional Java：實現了多種基礎和高級編程抽象，用來輔助面向組合開發（composition-oriented development）。官網

• Javaslang：一個函數式組件庫，提供持久化數據類型和函數式控制結構。官網

• jOOλ：旨在填補Java 8 lambda差距的擴展，提供了眾多缺失的類型和一組豐富的順序流API。官網

游戲開發

游戲開發框架。

• jMonkeyEngine：現代3D游戲開發引擎。官網

• libGDX：全面的跨平台高級框架。官網

• LWJGL：對OpenGL/CL/AL等技術進行抽象的健壯框架。官網

GUI

現代圖形化用戶界面開發庫。

• JavaFX：Swing的後繼者。官網

• Scene Builder：開發JavaFX應用的可視化布局工具。官網

高性能計算

涵蓋了從集合到特定開發庫的高性能計算相關工具。

• Agrona：高性能應用中常見的數據結構和工具方法。官網

• Disruptor：線程間消息傳遞開發庫。官網

• fastutil：快速緊湊的特定類型集合（Collection）。官網

• GS Collections：受Smalltalk啟發的集合框架。官網

• HPPC：基礎類型集合。官網

• Javolution：實時和嵌入式系統的開發庫。官網

• JCTools：JDK中缺失的並發工具。官網

• Koloboke：Hash set和hash map。官網

• Trove：基礎類型集合。官網

• High-scale-bli:Cliff Click 個人開發的高性能並發庫官網

IDE

簡化開發的集成開發環境。

• Eclipse：老牌開源項目，支持多種插件和編程語言。官網

• IntelliJ IDEA：支持眾多JVM語言，是安卓開發者好的選擇。商業版主要針對企業客戶。官網

• NetBeans：為多種技術提供集成化支持，包括Java SE、Java EE、資料庫訪問、HTML5

• Imgscalr：純Java 2D實現，簡單、高效、支持硬體加速的圖像縮放開發庫。官網

• Picasso：安卓圖片下載和圖片緩存開發庫。官網

• Thumbnailator：Thumbnailator是一個高質量Java縮略圖開發庫。官網

• ZXing：支持多種格式的一維、二維條形碼圖片處理開發庫。官網

• im4java: 基於ImageMagick或GraphicsMagick命令行的圖片處理開發庫，基本上ImageMagick能夠支持的圖片格式和處理方式都能夠處理。官網

• Apache Batik：在Java應用中程序以SVG格式顯示、生成及處理圖像的工具集，包括SVG解析器、SVG生成器、SVG DOM等模塊，可以集成使用也可以單獨使用，還可以擴展自定義的SVG標簽。官網

JSON

簡化JSON處理的開發庫。

• Genson：強大且易於使用的Java到JSON轉換開發庫。官網

• Gson：谷歌官方推出的JSON處理庫，支持在對象與JSON之間雙向序列化，性能良好且可以實時調用。官網

• Jackson：與GSON類似，在頻繁使用時性能更佳。官網

• LoganSquare：基於Jackson流式API，提供對JSON解析和序列化。比GSON與Jackson組合方式效果更好。官網

• Fastjson：一個Java語言編寫的高性能功能完善的JSON庫。官網

• Kyro：快速、高效、自動化的Java對象序列化和克隆庫。官網

JVM與JDK

目前的JVM和JDK實現。

• JDK 9：JDK 9的早期訪問版本。官網

• OpenJDK：JDK開源實現。官網

基於JVM的語言

除Java外，可以用來編寫JVM應用程序的編程語言。

• Scala：融合了面向對象和函數式編程思想的靜態類型編程語言。官網

• Groovy：類型可選（Optionally typed）的動態語言，支持靜態類型和靜態編譯。目前是一個Apache孵化器項目。官網

• Clojure：可看做現代版Lisp的動態類型語言。官網

• Ceylon：RedHat開發的面向對象靜態類型編程語言。官網

• Kotlin：JetBrain針對JVM、安卓和瀏覽器提供的靜態類型編程語言。官網

• Xtend：一種靜態編程語言，能夠將其代碼轉換為簡潔高效的Java代碼，並基於JVM運行。官網

日誌

記錄應用程序行為日誌的開發庫。

• Apache Log4j 2：使用強大的插件和配置架構進行完全重寫。官網

• kibana：分析及可視化日誌文件。官網

• Logback：強健的日期開發庫，通過Groovy提供很多有趣的選項。官網

• logstash：日誌文件管理工具。官網

• Metrics：通過JMX或HTTP發布參數，並且支持存儲到資料庫。官網

• SLF4J：日誌抽象層，需要與具體的實現配合使用。官網

機器學習

提供具體統計演算法的工具。其演算法可從數據中學習。

• Apache Flink：快速、可靠的大規模數據處理引擎。官網

• Apache Hadoop：在商用硬體集群上用來進行大規模數據存儲的開源軟體框架。官網

• Apache Mahout：專注協同過濾、聚類和分類的可擴展演算法。官網

• Apache Spark：開源數據分析集群計算框架。官網

• DeepDive：從非結構化數據建立結構化信息並集成到已有資料庫的工具。官網

• Deeplearning4j：分布式多線程深度學習開發庫。官網

• H2O：用作大數據統計的分析引擎。官網

• Weka：用作數據挖掘的演算法集合，包括從預處理到可視化的各個層次。官網

• QuickML：高效機器學習庫。官網、GitHub

消息傳遞

在客戶端之間進行消息傳遞，確保協議獨立性的工具。

• Aeron：高效可擴展的單播、多播消息傳遞工具。官網

• Apache ActiveMQ：實現JMS的開源消息代理（broker），可將同步通訊轉為非同步通訊。官網

• Apache Camel：通過企業級整合模式（Enterprise Integration Pattern EIP）將不同的消息傳輸API整合在一起。官網

• Apache Kafka：高吞吐量分布式消息系統。官網

• Hermes：快速、可靠的消息代理（Broker），基於Kafka構建。官網

• JBoss HornetQ：清晰、准確、模塊化，可以方便嵌入的消息工具。官網

• JeroMQ：ZeroMQ的純Java實現。官網

• Smack：跨平台XMPP客戶端函數庫。官網

• Openfire：是開源的、基於XMPP、採用Java編程語言開發的實時協作伺服器。 Openfire安裝和使用都非常簡單，並可利用Web界面進行管理。官網GitHub

• Spark：是一個開源，跨平台IM客戶端。它的特性支持集組聊天，電話集成和強大安全性能。如果企業內部部署IM使用Openfire+Spark是最佳的組合。官網GitHub

• Tigase： 是一個輕量級的可伸縮的 Jabber/XMPP 伺服器。無需其他第三方庫支持，可以處理非常高的復雜和大量的用戶數，可以根據需要進行水平擴展。官網

雜項

未分類其它資源。

• Design Patterns：實現並解釋了最常見的設計模式。官網

• Jimfs：內存文件系統。官網

• Lanterna：類似curses的簡單console文本GUI函數庫。官網

• LightAdmin：可插入式CRUD UI函數庫，可用來快速應用開發。官網

• OpenRefine：用來處理混亂數據的工具，包括清理、轉換、使用Web Service進行擴展並將其關聯到資料庫。官網

• RoboVM：Java編寫原生iOS應用。官網

• Quartz：強大的任務調度庫.官網

應用監控工具

監控生產環境中應用程序的工具。

• AppDynamics：性能監測商業工具。官網

• JavaMelody：性能監測和分析工具。官網

• Kamon：Kamon用來監測在JVM上運行的應用程序。官網

• New Relic：性能監測商業工具。官網

• SPM：支持對JVM應用程序進行分布式事務追蹤的性能監測商業工具。官網

• Takipi：產品運行時錯誤監測及調試商業工具。官網

原生開發庫

用來進行特定平台開發的原生開發庫。

• JNA：不使用JNI就可以使用原生開發庫。此外，還為常見系統函數提供了介面。官網

自然語言處理

用來專門處理文本的函數庫。

• Apache OpenNLP：處理類似分詞等常見任務的工具。官網

• CoreNLP：斯坦佛CoreNLP提供了一組基礎工具，可以處理類似標簽、實體名識別和情感分析這樣的任務。官網

• LingPipe：一組可以處理各種任務的工具集，支持POS標簽、情感分析等。官網

• Mallet：統計學自然語言處理、文檔分類、聚類、主題建模等。官網

網路

網路編程函數庫。

• Async Http Client：非同步HTTP和WebSocket客戶端函數庫。官網

• Grizzly：NIO框架，在Glassfish中作為網路層使用。官網

• Netty：構建高性能網路應用程序開發框架。官網

• OkHttp：一個Android和Java應用的HTTP+SPDY客戶端。官網

• Undertow：基於NIO實現了阻塞和非阻塞API的Web伺服器，在WildFly中作為網路層使用。官網

ORM

處理對象持久化的API。

• Ebean：支持快速數據訪問和編碼的ORM框架。官網

• EclipseLink：支持許多持久化標准，JPA、JAXB、JCA和SDO。官網

• Hibernate：廣泛使用、強健的持久化框架。Hibernate的技術社區非常活躍。官網

• MyBatis：帶有存儲過程或者SQL語句的耦合對象（Couples object）。官網

• OrmLite：輕量級開發包，免除了其它ORM產品中的復雜性和開銷。官網

• Nutz：另一個SSH。官網，Github

• JFinal：JAVA WEB + ORM框架。官網，Github

PDF

用來幫助創建PDF文件的資源。

• Apache FOP：從XSL-FO創建PDF。官網

• Apache PDFBox：用來創建和操作PDF的工具集。官網

• DynamicReports：JasperReports的精簡版。官網

• flyingsaucer：XML/XHTML和CSS 2.1渲染器。官網

• iText：一個易於使用的PDF函數庫，用來編程創建PDF文件。注意，用於商業用途時需要許可證。官網

• JasperReports：一個復雜的報表引擎。官網

性能分析

性能分析、性能剖析及基準測試工具。

• jHiccup：提供平台中JVM暫停的日誌和記錄。官網

• JMH：JVM基準測試工具。官網

• JProfiler：商業分析器。官網

• LatencyUtils：測量和報告延遲的工具。官網

• VisualVM：對運行中的應用程序信息提供了可視化界面。官網

• YourKit Java Profiler：商業分析器。官網

響應式開發庫

用來開發響應式應用程序的開發庫。

• Reactive Streams：非同步流處理標准，支持非阻塞式反向壓力（backpressure）。官網

• Reactor：構建響應式快速數據（fast-data）應用程序的開發庫。官網

• RxJava：通過JVM可觀察序列（observable sequence）構建非同步和基於事件的程序。官網

REST框架

用來創建RESTful 服務的框架。

• Dropwizard：偏向於自己使用的Web框架。用來構建Web應用程序，使用了Jetty、Jackson、Jersey和Metrics。官網

• Feign：受Retrofit、JAXRS-2.0和WebSocket啟發的HTTP客戶端連接器（binder）。官網

• Jersey：JAX-RS參考實現。官網

• RESTEasy：經過JAX-RS規范完全認證的可移植實現。官網

• RestExpress：一個Java類型安全的REST客戶端。官網

• RestX：基於註解處理和編譯時源碼生成的框架。官網

• Retrofit：類型安全的REST客戶端。官網

• Spark：受到Sinatra啟發的Java REST框架。官網

• Swagger：Swagger是一個規范且完整的框架，提供描述、生產、消費和可視化RESTful Web Service。官網

• Blade：國人開發的一個輕量級的MVC框架. 它擁有簡潔的代碼，優雅的設計。官網

科學計算與分析

用於科學計算和分析的函數庫。

• DataMelt：用於科學計算、數據分析及數據可視化的開發環境。官網

• JGraphT：支持數學圖論對象和演算法的圖形庫。官網

• JScience：用來進行科學測量和單位的一組類。官網

搜索引擎

文檔索引引擎，用於搜索和分析。

• Apache Solr：一個完全的企業搜索引擎。為高吞吐量通信進行了優化。官網

• Elasticsearch：一個分布式、支持多租戶（multitenant）全文本搜索引擎。提供了RESTful Web介面和無schema的JSON文檔。官網

• Apache Lucene：是一個開放源代碼的全文檢索引擎工具包，是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎，部分文本分析引擎。官網

安全

用於處理安全、認證、授權或會話管理的函數庫。

• Apache Shiro：執行認證、授權、加密和會話管理。官網

• Bouncy Castle，涵蓋了從基礎的幫助函數到PGP/SMIME操作。官網：多途加密開發庫。支持JCA提供者（JCA provider)

• Cryptomator：在雲上進行客戶端跨平台透明加密。官網

• Keycloak：為瀏覽器應用和RESTful Web Service集成SSO和IDM。目前還處於beta版本，但是看起來非常有前途。官網

• PicketLink：PicketLink是一個針對Java應用進行安全和身份認證管理的大型項目（Umbrella Project）。官網

序列化

用來高效處理序列化的函數庫。

• FlatBuffers：高效利用內存的序列化函數庫，無需解包和解析即可高效訪問序列化數據。官網

• Kryo：快速、高效的對象圖形序列化框架。官網

• FST：提供兼容JDK的高性能對象圖形序列化。官網

• MessagePack：一種高效的二進制序列化格式。官網

應用伺服器

用來部署應用程序的伺服器。

• Apache Tomcat：針對Servlet和JSP的應用伺服器，健壯性好且適用性強。官網

• Apache TomEE：Tomcat加Java EE。官網

• Jetty：輕量級、小巧的應用伺服器，通常會嵌入到項目中。官網

• WebSphere Liberty：輕量級、模塊化應用伺服器，由IBM開發。官網

• WildFly：之前被稱作JBoss，由Red Hat開發。支持很多Java EE功能。官網

模板引擎

在模板中替換表達式的工具。

• Apache Velocity：提供HTML頁面模板、email模板和通用開源代碼生成器模板。官網

• FreeMarker：通用模板引擎，不需要任何重量級或自己使用的依賴關系。官網

• Handlebars.java：使用Java編寫的模板引擎，邏輯簡單，支持語義擴展（semantic Mustache）。官網

• Thymeleaf：旨在替換JSP，支持XML文件的工具。官網

測試

測試內容從對象到介面，涵蓋性能測試和基準測試工具。

• Apache JMeter：功能性測試和性能評測。官網

• Arquillian：集成測試和功能行測試平台，集成Java EE容器。官網

• AssertJ：支持流式斷言提高測試的可讀性。官網

• Awaitility：用來同步非同步操作的DSL。官網

• Cucumber：BDD測試框架。官網

• Gatling：設計為易於使用、可維護的和高性能負載測試工具。官網

• Hamcrest：可用來靈活創建意圖（intent）表達式的匹配器。官網

• JMockit：用來模擬靜態、final方法等。官網

• JUnit：通用測試框架。官網

• Mockito：在自動化單元測試中創建測試對象，為TDD或BDD提供支持。官網

• PowerMock： 支持模擬靜態方法、構造函數、final類和方法、私有方法以及移除靜態初始化器的模擬工具。官網

• REST Assured：為REST/HTTP服務提供方便測試的Java DSL。官網

• Selenide：為Selenium提供精準的周邊API，用來編寫穩定且可讀的UI測試。官網

• Selenium：為Web應用程序提供可移植軟體測試框架。官網

• Spock：JUnit-compatible framework featuring an expressive Groovy-derived specification language.官網兼容JUnit框架，支持衍生的Groovy范的語言。

• TestNG：測試框架。官網

• Truth：Google的斷言和命題（proposition）框架。官網

• Unitils：模塊化測試函數庫，支持單元測試和集成測試。官網

• WireMock：Web Service測試樁（Stub）和模擬函數。官網

通用工具庫

通用工具類函數庫。

• Apache Commons：提供各種用途的函數，比如配置、驗證、集合、文件上傳或XML處理等。官網

• args4j：命令行參數解析器。官網

• CRaSH：為運行進行提供CLI。官網

• Gephi：可視化跨平台網路圖形化操作程序。官網

• Guava：集合、緩存、支持基本類型、並發函數庫、通用註解、字元串處理、I/O等。官網

• JADE：構建、調試多租戶系統的框架和環境。官網

• javatuples：正如名字表示的那樣，提供tuple支持。盡管目前tuple的概念還有留有爭議。官網

• JCommander：命令行參數解析器。官網

• Protégé：提供存在論（ontology）編輯器以及構建知識系統的框架。官網

網路爬蟲

用於分析網站內容的函數庫。

• Apache Nutch：可用於生產環境的高度可擴展、可伸縮的網路爬蟲。官網

• Crawler4j：簡單的輕量級網路爬蟲。官網

• JSoup：刮取、解析、操作和清理HTML。官網

Web框架

用於處理Web應用程序不同層次間通訊的框架。

• Apache Tapestry：基於組件的框架，使用Java創建動態、強健的、高度可擴展的Web應用程序。官網

• Apache Wicket：基於組件的Web應用框架，與Tapestry類似帶有狀態顯示GUI。官網

• Google Web Toolkit：一組Web開發工具集，包含在客戶端將Java代碼轉為JavaScript的編譯器、XML解析器、RCP官網API、JUnit集成、國際化支持和GUI控制項。

• Grails：Groovy框架，旨在提供一個高效開發環境，使用約定而非配置、沒有XML並支持混入（mixin）。官網

• Ninja：Java全棧Web開發框架。非常穩固、快速和高效。官網

• Pippo：小型、高度模塊化的類Sinatra框架。官網

• Play：使用約定而非配置，支持代碼熱載入並在瀏覽器中顯示錯誤。官網

• PrimeFaces：JSF框架，提供免費和帶支持的商業版本。包括若干前端組件。官網

• Ratpack：一組Java開發函數庫，用於構建快速、高效、可擴展且測試完備的HTTP應用程序。官網

• Spring Boot：微框架，簡化了Spring新程序的開發過程。官網

• Spring：旨在簡化Java EE的開發過程，提供依賴注入相關組件並支持面向切面編程。官網

• Vaadin：基於GWT構建的事件驅動框架。使用服務端架構，客戶端使用Ajax。官網

• Blade：國人開發的一個輕量級的MVC框架. 它擁有簡潔的代碼，優雅的設計。官網

業務流程管理套件

流程驅動的軟體系統構建。

• jBPM：非常靈活的業務流程管理框架，致力於構建開發與業務分析人員之間的橋梁。官網

• Activity：輕量級工作流和業務流程管理框架。官網github

資源

社區

F. win10 sparkcontext初始化出現語法錯誤

SparkContext是程序執行的入口，一個SparkContext代表一個應用，深入理解spark運行時機制，首先要了解SparkContext初始化過程。
SparkContext初始化
SparkContext的定義
構造參數為SparkConf，其存儲spark相關的配置信息，查看SparkConf定義
SparkConf內部用ConcurrentHashMap存儲各種配置信息，初始化時會載入所有以spark.開頭的環境變數。
SparkContext初始化
查看初始化對應代碼
clone SparkConf變數，接著判斷spark.master和spark.app.name是否存在，如果是YARN cluster模式則必須設置spark.yarn.app.id，然後是driver的host，port信息，最後是jars和files，接著查看
_eventLogDir是否記錄運行時信息，由spark.eventLog.enabled和spark.eventLog.dir控制，以及是否壓縮該信息_eventLogCodec，spark.externalBlockStore.folderName設置運行時本地存儲的目錄名，為「spark-」 + randomUUID.toString()，如果為yarn-client模式，設置SPARK_YARN_MODE=true，使用JobProgressListener跟蹤運行時信息，用於UI展示，最後創建SparkEnv對象，創建SparkEnv的過程涉及到非常多spark-core中的核心類。
查看createSparkEnv
繼續查看SparkEnv.createDriverEnv
獲取host和port信息，調用create方法。
繼續查看create方法
創建安全相關的SecurityManager，通過spark.authenticate配置
創建基於akka的分布式消息系統，中間的創建過程略多，這里不再描述，最後看看SparkEnv初始化了哪些對象
上圖中列出的對象幾乎涵蓋了spark-core的核心類，後續會對其分別分析，至此，SparkEnv創建完畢。
接著上面SparkEnv.set(_env)(限於篇幅，關於UI方面的代碼可能會被略掉)，_metadataCleaner使用TimerTask定期清理persistentRdd，讀取hadoop配置，將jar和file的路徑添加到rpcEnv的fileServer，讀取Executor相關變數，重要的參數為ExecutorMemory
接著，_heartbeatReceiver是默認基於netty實現的心跳機制，創建schelerBackend用於提交任務，創建taskScheler和dagScheler，獲取applicationId，啟動度量系統，獲取eventLogger
executorAllocationManager關於Executor動態資源分配，通過spark.dynamicAllocation.enabled設置，創建contextcleaner用於清理過期的RDD, shuffle和broadcast ，啟動ListenerBus，並post環境信息和應用信息，最後添加確保context停止的hook，至此整個sparkcontext的初始化流程結束
---------------------
作者：Mr_JieLQ
來源：CSDN
原文：https://blog.csdn.net/u011564172/article/details/54927873
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！