[WebKit核心] JavaScriptCore深度解析--基礎篇（一）位元組碼生成及語法樹的構建詳情分析
看到HorkeyChen寫的文章《[WebKit] JavaScriptCore解析--基礎篇(三)從指令碼程式碼到JIT編譯的程式碼實現》，寫的很好，深受啟發。想補充一些Horkey沒有寫到的細節比如位元組碼是如何生成的等等，為此成文。
JSC對JavaScript的處理，其實與Webkit對CSS的處理許多地方是類似的，它這麼幾個部分：
（1）詞法分析->出來詞語(Token)；
（2）語法分析->出來抽象語法樹（AST：Abstract Syntax Tree）；
（3）遍歷抽象語法樹->生成位元組碼（Bytecode）；
（4）用直譯器（LLInt：Low Level Interpreter）執行位元組碼；
（5）如果效能不夠好就用Baseline JIT編譯位元組碼生成機器碼、然後執行此機器碼；
（6）如果效能還不夠好，就用DFG JIT重新編譯位元組碼生成更好的機器碼、然後執行此機器碼；
（7）最後，如果還不好，就祭出重器--虛擬器（LLVM：Low Level Virtual Machine）來編譯DFG的中間表示程式碼、生成更高優化的機器碼並執行。接下來，我將會用一下系列文章描述此過程。
其中，步驟1、2是類似的，3、4、5步的思想，CSS JIT也是採用類似方法，請參考[1]。想寫寫JSC的文章，用菜鳥和愚公移山的方式，敲開JSC的冰山一角。
本篇主要描述詞法和語法解析的細節。
一、 JavaScriptCore的詞法分析器工作流程分析
W3C是這麼解釋詞法和語法工作流程的：
詞法器Tokenizer的工作過程如下，就是不斷從字串中尋找一個個的詞（Token），比如找到連續的“true”字串，就建立一個TokenTrue。詞法器工作過程如下：
JavaScriptCore/interpreter/interpreter.cpp:
template <typename CharType>
-
template <ParserMode mode> TokenType LiteralParser<CharType>::Lexer::lex(LiteralParserToken<CharType>& token)
- {
- while (m_ptr < m_end && isJSONWhiteSpace(*m_ptr))
- ++m_ptr;
- if (m_ptr >= m_end) {
- token.type = TokEnd;
- token.start = token.end = m_ptr;
- return TokEnd;
- }
- token.type = TokError;
- token.start = m_ptr;
- switch (*m_ptr) {
- case'[':
- token.type = TokLBracket;
- token.end = ++m_ptr;
- return TokLBracket;
- case']':
- token.type = TokRBracket;
- token.end = ++m_ptr;
- return TokRBracket;
- case'(':
- token.type = TokLParen;
- token.end = ++m_ptr;
- return TokLParen;
- case')':
- token.type = TokRParen;
- token.end = ++m_ptr;
- return TokRParen;
- case',':
- token.type = TokComma;
- token.end = ++m_ptr;
- return TokComma;
- case':':
- token.type = TokColon;
- token.end = ++m_ptr;
- return TokColon;
- case'"':
- return lexString<mode, '"'>(token);
- case't':
- if (m_end - m_ptr >= 4 && m_ptr[1] == 'r' && m_ptr[2] == 'u' && m_ptr[3] == 'e') {
- m_ptr += 4;
- token.type = TokTrue;
- token.end = m_ptr;
- return TokTrue;
- }
- break;
- case'-':
- case'0':
- ...
- case'9':
- return lexNumber(token);
- }
- if (m_ptr < m_end) {
- if (*m_ptr == '.') {
- token.type = TokDot;
- token.end = ++m_ptr;
- return TokDot;
- }
- if (*m_ptr == '=') {
- token.type = TokAssign;
- token.end = ++m_ptr;
- return TokAssign;
- }
- if (*m_ptr == ';') {
- token.type = TokSemi;
- token.end = ++m_ptr;
- return TokAssign;
- }
- if (isASCIIAlpha(*m_ptr) || *m_ptr == '_' || *m_ptr == '$')
- return lexIdentifier(token);
- if (*m_ptr == '\'') {
- return lexString<mode, '\''>(token);
- }
- }
- m_lexErrorMessage = String::format("Unrecognized token '%c'", *m_ptr).impl();
- return TokError;
- }
經過此過程，一個完整的JSC世界的Token就生成了。然後，再進行語法分析，生成抽象語法樹.
JavaScriptCore/parser/parser.cpp:
- <span style="font-family: Arial, Helvetica, sans-serif;">PassRefPtr<ParsedNode> Parser<LexerType>::parse(JSGlobalObject* lexicalGlobalObject, Debugger* debugger, ExecState* debuggerExecState, JSObject** exception)</span>
- {
- ASSERT(lexicalGlobalObject);
- ASSERT(exception && !*exception);
- int errLine;
- UString errMsg;
- if (ParsedNode::scopeIsFunction)
- m_lexer->setIsReparsing();
- m_sourceElements = 0;
- errLine = -1;
- errMsg = UString();
- UString parseError = parseInner();
- 。。。
- ｝
UString Parser<LexerType>::parseInner()
- {
- UString parseError = UString();
- unsigned oldFunctionCacheSize = m_functionCache ? m_functionCache->byteSize() : 0;
- //抽象語法樹Builder：
- ASTBuilder context(const_cast<JSGlobalData*>(m_globalData), const_cast<SourceCode*>(m_source));
- if (m_lexer->isReparsing())
- m_statementDepth--;
- ScopeRef scope = currentScope();
- //開始解析生成語法樹的一個節點：
- SourceElements* sourceElements = parseSourceElements<CheckForStrictMode>(context);
- if (!sourceElements || !consume(EOFTOK))
舉例說來，根據Token的型別，JSC認為輸入的Token是一個常量宣告，就會使用如下的模板函式生成語法節點（Node），然後放入ASTBuilder裡面：
- JavaScriptCore/bytecompiler/NodeCodeGen.cpp:
- template <typename LexerType>
- template <class TreeBuilder> TreeConstDeclList Parser<LexerType>::parseConstDeclarationList(TreeBuilder& context)
- {
- failIfTrue(strictMode());
- TreeConstDeclList constDecls = 0;
- TreeConstDeclList tail = 0;
- do {
- next();
- matchOrFail(IDENT);
- const Identifier* name = m_token.m_data.ident;
- next();
- bool hasInitializer = match(EQUAL);
- declareVariable(name);
- context.addVar(name, DeclarationStacks::IsConstant | (hasInitializer ? DeclarationStacks::HasInitializer : 0));
- TreeExpression initializer = 0;
- if (hasInitializer) {
- next(TreeBuilder::DontBuildStrings); // consume '='
- initializer = parseAssignmentExpression(context);
- }
- tail = context.appendConstDecl(m_lexer->lastLineNumber(), tail, name, initializer);
- if (!constDecls)
- constDecls = tail;
- } while (match(COMMA));
- return constDecls;
- }
接下來，就會呼叫BytecodeGenerator::generate生成位元組碼，具體分下節分析。我們先看看下面來自JavaScript的一個個語法樹節點生成位元組碼的過程：
JavaScriptCore/bytecompiler/NodeCodeGen.cpp:
RegisterID* BooleanNode::emitBytecode(BytecodeGenerator& generator, RegisterID* dst)
- {
- if (dst == generator.ignoredResult())
- return 0;
- return generator.emitLoad(dst, m_value);
- }
以下是我準備寫的文章題目：
一、 JavaScriptCore的詞法分析器工作流程分析；
二、 JavaScriptCore的語法分析器工作流程分析；
三、 JavaScriptCore的位元組碼生成流程分析；
四、 LLInt直譯器工作流程分析；
五、 Baseline JIT編譯器的工作流程分析；
六、 DFG JIT編譯器的工作流程分析；
七、LLVM虛擬機器的工作流程分析；
八、JavaScriptCore的未來展望；
文筆粗糙，不善表達，希望能越寫越好。第一時間獲得部落格更新提醒，以及更多技術資訊分享，歡迎關注個人微信公眾平臺:程式設計師互動聯盟(coder_online)，掃一掃下方二維碼或搜尋微訊號coder_online即可關注,我們可以線上交流。
