https://3rabica.org/index.php?action=history&feed=atom&title=%D8%AA%D9%88%D9%83%D9%86 2026-06-09T17:35:19Z تاريخ التعديل لهذه الصفحة في الويكي MediaWiki 1.43.7 https://3rabica.org/index.php?title=%D8%AA%D9%88%D9%83%D9%86&diff=1850320&oldid=prev 2023-07-04T15:39:53Z

<p>بوت: إصلاح أخطاء فحص أرابيكا من 1 إلى 104</p> <p><b>صفحة جديدة</b></p><div>{{لا مصدر|تاريخ=فبراير 2016}}<br /> {{يتيمة|تاريخ=فبراير 2015}}<br /> <br /> لفظ توكن &#039;&#039;&#039;Token&#039;&#039;&#039; يصف سلسلة من الرموز لها معنى (نوع) محدد في [[لغة شكلية|نحو شكلي]]. تشكل التوكن [[مفردات|حجر البناء]] في الثروة [[لغة|اللغوية]] التي يعتد عليها الـ [[تجزئة (لغة)|تجزئة]].<br /> <br /> في أبسط الأحوال يمكن اعتبار كل [[حرف]] منفصل توكن: فمثلا الحرف أ يكون من النوع أ. ولكن لكي يكتمل المنفعة من وراء النحو يتم تعريف أنواع رئيسية ويتم تقسيم الكلمات إليها. فمثلا في [[اللغة العربية]] يمكن اعتبار عملية تقسيم [[جملة فعلية|الجملة الفعلية]] إلى فعل وفاعل ومفعول به كـ tokenization.<br /> {| class=&quot;wikitable&quot;<br /> |+<br /> !colspan=&quot;2&quot;|توكن<br /> |-<br /> ![[مفردة متمكنة|لكسيم]]!!نوعه<br /> |-<br /> |123||[[عدد]]<br /> |-<br /> |foobar||[[اسم]]<br /> |-<br /> |begin|||[[كلمة مفتاحية]]<br /> |-<br /> |}<br /> <br /> {{منطق}}<br /> <br /> {{لغة ونحو صوريين}}<br /> <br /> {{علم الحاسوب}}<br /> <br /> {{شريط بوابات|علم الحاسوب}}<br /> <br /> {{بذرة حوسبة}}<br /> <br /> [[تصنيف:لغات شكلية|*]]<br /> [[تصنيف:علم الحاسوب]]</div>

عبد العزيز