|
|
|
|
تحلیل واژه ای
در علم کامپیوتر، تحلیل لغوی پروسه ای است که مجموعه ای از کاراکترها را به مجموعه ای از tokenها تبدیل میکند. برنامه ای که تحلیل واژه ای را انجام می دهد lexical analyzer یا lexers (تحلیلگر واژه)خوانده می شود. تحلیل گر واژه شامل scanner و tokenizer است. [ویرایش] گرامر واژه ایهر زبان برنامه نویسی شامل مجموعه ای از قوانین خواهد بود که به صورت مجموعه ای از کاراکترهای ترتیبی که میتوانند یک token یا lexeme را مشخص کنند، تشکیل می شود. کاراکترهای جاخالی معمولاً توسط تحلیلگر واژه ای نادیده گرفته میشود. [ویرایش] توکنیک توکن دسته ای از متن هستند که به اسم lexemes شناخته می شوند.لیلگر واژه ای lexems ها را پردازش میکند تا آنها را با توجه به کاربردشان دسته بندی کنند و به آنها معنا دهند. این انتساب معنا tokenization نامیده میشود. به این خط دستور در زبان C توجه کنید: ;sum=3+2 که به این صورت توکن بندی شده است:
توکن ها معمولاً توسط عبارات با قاعده تعریف می شوند، که توسط تحلیلگر واژه ای به lex شناخته می شوند. تحلیلگر واژه ای جریانی از lexemها را می خواند و آنها را به توکنهایی دسته بندی میکند. این کار tokenization خوانده می شود. در ادامه tokenizing ، تجزیه قرار دارد. اطلاعات تفسیر شده ممکن است در ساختمانهای داده به منظور استفاده کلی ، تفسیر یا کامپایل ، قرار بگیرند. |
