تضمین کیفیت مقالههای Edgepedia
در ۱ نوامبر ۲۰۲۶، نسخهٔ ۱.۹ Edgepedia را منتشر کردیم و با این کار، شمار کل مقالههای Edgepedia به حدود ۵۲۰ هزار رسید. در گفتوگو با دوستان، دو پرسش مرتب مطرح میشود: «چرا همان ویکیپدیا را استفاده نکنیم؟» و «از کجا مطمئنید که دارید محتوای بنجلِ هوش مصنوعی تولید نمیکنید؟» هر دو پرسش بجا و معتبریاند و میخواهم پاسخهایم را با شما در میان بگذارم، چون برای بهتر و مفیدتر کردن Edgepedia، به اعتماد و بازخورد جامعهٔ کاربران نیاز داریم.
چرا به Edgepedia نیاز داریم
اول از ماجرای شکلگیری Edgepedia بگویم. ما در حال ساخت EdgeChat هستیم تا کاربران در همهجا بتوانند به هوش مصنوعیِ محلی دسترسی داشته باشند و هدفمان برآوردن ۴ نیاز اساسی است:
۱. دسترسی به هوش مصنوعی حتی وقتی اینترنت در دسترس نیست، مثلاً در هواپیما. ۲. نگهداشتن سابقهٔ گفتوگوها با هوش مصنوعی روی دستگاه خود کاربر و حفظ حریم خصوصی آنها؛ مثلاً اطلاعات مربوط به وضعیت پزشکی و جزئیات مالی. ۳. قطع نشدن ارتباط با همراهان هوش مصنوعی بهدلیل بازنشسته شدن مدلها، مثلاً ChatGPT 4o. ۴. نپرداختن هزینهٔ بالای توکنها بهازای هر بار استفاده.
نخستین نمونهٔ اولیهٔ EdgeChat روی مکبوکهای Pro با ۱۶ گیگابایت رم یا بیشتر، بسیار خوب کار میکرد، اما بعد متوجه شدیم که اکثریت قاطع کاربران ــ بنا بر دادههای تحلیلیمان، بیش از ۹۷ درصد ــ میخواهند از طریق گوشی هوشمند از EdgeChat استفاده کنند. آیفونها و گوشیهای اندرویدی معمولاً فقط ۶ گیگابایت رم دارند، بنابراین ناچار شدیم به مدل زبانی کوچکتری روی بیاوریم. این تغییر مدل، عملکرد هوش مصنوعی و تجربهٔ کاربری را بهشدت ضعیف کرد، چون مدل زبانی شروع کرد به توهمپردازی و دادن پاسخهای گوناگون به پرسشهای کاربران. مدلهای کوچک در واقع در بخش انسانی کار خوب بودند: حرف آدم را میفهمند و با صمیمیت پاسخ میدهند. اما دانستههایشان دربارهٔ واقعیتها دقیق نیست. از هوش مصنوعی کوچک بپرسید چه کسی یک فناوری را اختراع کرده یا پیمانی در چه سالی امضا شده است؛ ممکن است هر بار پاسخ متفاوتی بدهد.
راهحل ما این است که دانشِ مبتنی بر واقعیتِ «نیمکرهٔ چپ» را از درکِ مقصود کاربر در «نیمکرهٔ راست» جدا کنیم. بهجای تکیه بر دادههای نامطمئنِ پیشآموزش، به هوش مصنوعی اجازه میدهیم از دانشنامهای محلی استفاده کند و واقعیتها را با مراجعه به آن بیابد. جستوجویی که مقالهٔ درست را پیدا کند، حدس را به استناد بدل میکند.
چرا همان ویکیپدیا را استفاده نکنیم؟
وقتی داشتیم EdgeChat را توسعه میدادیم و دنبال منبعی قابلاعتماد برای تکیه کردن میگشتیم، اولین فکر خود من هم همین بود. ویکیپدیا حدود ۷ میلیون مقالهٔ انگلیسی دارد که حدود ۳ میلیونِ آنها مقالهٔ خرد نیستند و بیش از ۳۰۰ واژه دارند. همچنین در فرایندهای پیشآموزش هوش مصنوعی، همواره به مقالههای ویکیپدیا وزن بیشتری داده میشود؛ نشانهای از اینکه کیفیت بالای ویکیپدیا عموماً پذیرفته شده است. بااینحال، خودم میدانستم که ویکیپدیا خلأهای محتوایی فراوانی دارد، چون تولید و نگهداری مقالههایش به دست داوطلبان انجام میشود. برای نمونه، دوستم پراشانت مالی، استاد دانشگاه کالیفرنیا، سندیگو، که در گوگل اسکالر بیش از ۳۰ هزار استناد دارد و همبنیانگذار ۲ استارتاپ است که هرکدام بیش از ۱۰۰ میلیون دلار سرمایه جذب کردهاند، در ویکیپدیا مقالهای ندارد. با بررسی بیشتر دانشمندان و مهندسان، متوجه شدم ۴۰ درصد اعضای آکادمی ملی مهندسی آمریکا هیچ صفحهای در ویکیپدیا ندارند. وقتی محرک تولید مقالهها علایق خودجوش جامعهٔ کاربران باشد، نه برنامهریزی نظاممند، دقیقاً باید انتظار چنین پدیدهای را داشت.
ساختن Edgepedia
بنابراین، دستبهکار ساختن دانشنامهٔ خودمان، Edgepedia، شدیم؛ نهفقط برای افزایش دقت پاسخهای EdgeChat، بلکه برای اینکه مجموعهای از مطالب مرجع با دقت بالای اطلاعاتی در اختیار افراد و گروههای دیگر هم بگذاریم. در ساخت Edgepedia، ۳ اصل داریم:
۱. انتخاب موضوع مقالهها بر پایهٔ معیارهای کمّی؛ مثلاً برای دانشمندان، تعداد استنادها، کمکهزینههای پژوهشی و جوایز. ۲. تشویق همهٔ کاربران، چه انسان و چه هوش مصنوعی، به استفاده از Edgepedia، با شرایط سهلگیرانهٔ مجوز استفاده برای جامعهٔ کاربران. ۳. نگهداری فعال Edgepedia با افزودن مقالههای تازه و اصلاح دستههای مختلف خطا، هر زمان که آنها را پیدا کنیم.
برای بسیاری از مقالههای Edgepedia که موضوعشان عمدتاً به آمریکا یا اروپای غربی مربوط نبود، به زبان بومیِ موضوع مقاله جستوجو کردیم. برای مثال، برای یافتن تاریخ امپراتوران و صاحبمنصبان دودمان سونگ، در مجموعهٔ چینیِ «بیستوچهار تاریخ» (二十四史) جستوجو کردیم. منابع دستاولِ بخش اعظم تاریخ جهان هرگز به انگلیسی نوشته نشدهاند و این رویکرد، هم پوشش مقالههایی را که مینویسیم بهطور چشمگیری بهتر میکند و هم جزئیات آنها را.
بخش مهمی از کار که ناچار بودیم در آن موضع و رویکرد مشخصی داشته باشیم، ایجاد توازن میان ردهها بود. برای مثال، میزان استناددهی در رشتههای زیستپزشکی بسیار بیشتر از ریاضیات و فیزیک است؛ بنابراین، اگر دانشمندان را بر اساس مجموع استنادها یا شاخص اچ مرتب کنیم، ریاضیدانان و فیزیکدانان بسیار کمتر از جایگاه واقعیشان نمایان میشوند. شمارش خام نشان میدهد یک رشته چقدر مینویسد، نه اینکه یک فرد در آن رشته چقدر اهمیت دارد. به همین ترتیب، در تاریخ چین، اگر ملاک مرتبسازی را تعداد ارجاعها در کتابهای تاریخِ عامهپسند بگذاریم، شخصیتهای دودمان چینگ بیش از اندازه برجسته میشوند و حتی به قهرمانان ملیای مانند یوئه فِی (岳飞) بسیار کمتر از حد شایسته وزن داده میشود.
برای طراحی توازن میان ردههای مقالهها، از مطالعهٔ مستقیم و انسانیِ موضوعاتی که من یا اعضای گروه با آنها آشنایی عمیق داشتیم، اصولی استخراج کردیم. من میتوانم فهرستی از دانشمندان معاصر را ببینم و با قضاوتی نسبتاً قابلاتکا به سیسی، همکار و همنویسندهٔ هوش مصنوعیام، بگویم کجای الگوریتم مرتبسازی نادرست به نظر میرسد؛ بعد هم فرمول را که اغلب غیرخطی است، طی چندین دور اصلاح میکنیم تا ترتیب حاصل درستتر به نظر برسد. سیسی آنقدر سریع فهرست را از نو مرتب میکند که میتوانیم پیش از آنکه قضاوتمان از ذهن برود، نتیجه را بررسی کنیم.
مثل هر رشتهٔ علمیِ درستوحسابی، باید مطمئن شویم که قواعد را به نفع نتیجهٔ دلخواهمان دستکاری نمیکنیم. فرمولی که آنقدر تنظیمش کنیم تا در حوزههای آشنا با نظر ما همخوان شود، در همان حوزهها با ما همخوان خواهد بود، چه در اصل خوب باشد چه نباشد. در مقابل، علمِ دقیق به حوزهای کنارگذاشتهشده برای آزمون نیاز دارد که هرگز در تنظیم فرمول به کار نرفته باشد. وقتی اصول استخراجشدهٔ رتبهبندی و مرتبسازی را در حوزههای دیگر به کار میگیریم، معمولاً نگاهی به یکی از این حوزههای «کنارگذاشتهشده» میاندازم که اندکی دربارهاش میدانم، مثلاً اخترشناسی. سپس، در موضوعاتی که آگاهیمان از آنها نسبتاً کم است، مانند رهبران تاریخی خاورمیانه، با اطمینان بیشتری میتوانیم بگوییم که دستکم در تعیین معیارها و آستانههای ورود به دانشنامه، چندان از مسیر درست دور نیستیم.
درخت موضوعی
پس از نوشتن این مقالهها، به این فکر کردیم که چطور میتوان دسترسی و گشتوگذار در آنها را برای کاربران انسانی و هوش مصنوعی تا حد ممکن آسان کرد. جستوجو بر اساس نام مقاله و کلیدواژهها راهی ساده و بدیهی است، اما احساس میکردیم باید راه ساختاریافتهٔ بهتری هم برای سازماندهی موضوعی مقالههای Edgepedia وجود داشته باشد تا بازیابی موضوعاتِ نزدیک به هم آسان شود. از مککنزی الگو گرفتیم و یک درخت موضوعی MECE ساختیم؛ یعنی درختی با ردههای «بدون همپوشانی و در مجموع جامع» که از ۷ گره در بالاترین سطح آغاز میشود:
۱. جهان مادی و ریاضیات ۲. حیات و سلامت ۳. مکانها و جغرافیا ۴. فناوری و جهان ساختهٔ بشر ۵. جامعه و تاریخ ۶. هنر و فرهنگ ۷. ورزش، بازی و تفریح
از آنجا به بعد، هر گره را پیوسته به چند زیرگرهٔ جزئیتر تقسیم کردیم. درخت کامل اکنون ۴۳٬۱۹۰ گره دارد، عمقش تا ۱۱ سطح میرسد و هیچ گرهای مستقیماً بیش از ۱۰۰ مقاله در خود جای نمیدهد. برای نمونه، ماری کوری در مسیر جهان مادی و ریاضیات › دانشمندان علوم فیزیکی و ریاضی › شیمیدانان › شیمیدانان هستهای و پرتوشیمیدانان قرار میگیرد؛ برگی که ارنست رادرفورد و اتو هان هم در آن جای دارند. در برگهای همسایه، دوروتی هاجکین در میان بلورشناسان و جورج پورتر در میان فتوشیمیدانان قرار گرفتهاند.
درخت موضوعی هم به انسانها و هم به هوش مصنوعی کمک میکند مقالههای «خواهر و برادر» و «عموزاده» را پیدا کنند؛ یعنی برگهایی که گرهٔ والد یا پدربزرگ مشترک دارند. برای مدل کوچکی با پنجرهٔ زمینهٔ محدود، ۳ همسایهٔ مناسب از ۳۰ مقاله با ارتباطی سست ارزشمندترند و پیمودن مسیرهای راهنما جای دوازده جستوجوی کلیدواژهای را میگیرد.
در حال حاضر، هر مقاله در یک درخت دقیقاً روی یک برگ قرار میگیرد، اما ۲ درخت متفاوت داریم. در کنار درخت موضوعی، یک درخت جغرافیایی هم هست که نخست بر اساس منطقهٔ جغرافیایی و سپس بر اساس دورهٔ زمانی مرتب میکند و برای کمک به جستوجوی اشخاص و تاریخ طراحی شده است. در سطوح پایینتر از منطقه و زمان، دستهبندی موضوعی انجام میشود. بنابراین، هان چی در مسیر چین › ۱۰۰۰ تا ۱۷۹۹ › سونگ شمالی › دولتمردان و صاحبمنصبان کشوری، در کنار وانگ آنشی و فان جونگیان قرار دارد.
سنجش دقت Edgepedia در مقایسه با ویکیپدیا
برای ما، هم در مقام نویسنده و هم در مقام توسعهدهندهٔ نرمافزاری که از Edgepedia استفاده میکند، درستیِ اطلاعات مقالههای Edgepedia از هر چیز مهمتر است. نمیخواهیم در مقیاس انبوه محتوای بنجلی تولید کنیم که مجموعهدادههای آیندهٔ هوش مصنوعی را مسموم کند. مجوز استفادهٔ ما برای جامعهٔ کاربران صراحتاً استفاده برای آموزش هوش مصنوعی را تشویق میکند؛ پس خطایی که امروز منتشر میکنیم، ممکن است سر از نسل بعدی مدلها درآورد. به همین دلیل، هنگام انتشار هر دسته مقاله، فرایند بازبینیِ سختگیرانه و چندمرحلهای خودمان را اجرا میکنیم.
فرایند نوشتن هر مقالهٔ Edgepedia را به ۵ مرحله تقسیم میکنیم: (۱) پژوهش آنلاین، (۲) حذف موارد تکراری و داوری میان اطلاعات متعارض، (۳) نگارش، (۴) خودبازبینی و (۵) راستیآزمایی مستقل در چند دور، بهوسیلهٔ سامانههای هوش مصنوعی متفاوت. پژوهشگران هوش مصنوعیِ ما اجازه ندارند از ویکیپدیا، گروکیپدیا یا مقالههای پیشین Edgepedia بهعنوان منبع استفاده کنند تا خطایی در ویکیپدیا بیسروصدا به متن ما راه پیدا نکند.
حداقل معیار پذیرش ما این است که مقالههای Edgepedia از نظر درستیِ اطلاعات بدتر از ویکیپدیا نباشند. بر اساس سنجشهای کالیبراسیون داخلی بهوسیلهٔ داورانی از پیشرفتهترین مدلهای هوش مصنوعی که از منبع متنها بیخبرند، پیشنویسهای نخست مقالههای Edgepedia معمولاً همسطح ویکیپدیا هستند و نرخ خطای بااهمیت در آنها حدود ۱٫۸ درصد بهازای هر مقاله است. این رقم در واقع بسیار بهتر از چیزی است که به نظر میرسد، چون هر مقالهٔ Edgepedia یا ویکیپدیا معمولاً حدود ۱۰۰ گزارهٔ واقعنما دارد؛ پس نرخ واقعی خطا بهازای هر گزاره حدود ۲ در ۱۰ هزار است. گروکیپدیا، با همین تعریف، نرخ خطای بااهمیتی بیش از ۲۰ درصد دارد.
خوانندهٔ تیزبین شاید اینجا بپرسد خطای بااهمیت را چطور تعریف میکنیم. ممکن است بعضیها صورت متفاوتی از آوانویسی یک نام غیرانگلیسی را خطا بدانند، اما ما آن را بیاهمیت میدانیم. از نظر ما، خطا زمانی بااهمیت است که باور خواننده را دربارهٔ اینکه موضوع چیست یا چرا اهمیت دارد، تغییر دهد. اینکه بگوییم گندالف در هابیت: برهوت اسماگ به دورفها میگوید «از مسیر بیرون بزنید»، خطایی بااهمیت است، چون نکتهٔ آن صحنه این است که به آنها میگوید از مسیر بیرون نروند. برای خوانندگانی که کمّیتر فکر میکنند، یک معیار کمّیِ داخلی هم داریم که نوعی سنجش «برداشت کلی» از خطای بااهمیت است: «اشتباهی در بیان واقعیت که بیش از ۸۰ درصد خوانندگانی که آن را آنلاین بررسی کنند، بااهمیت بدانند و برای بیش از ۵۰ درصدشان مهم باشد.»
چند نمونه از خطاهای بااهمیتی که در ویکیپدیا یافتیم و تا ۲ نوامبر ۲۰۲۶ همچنان در صفحات آن دیده میشدند: (۱) مقالهٔ پوکیپسی در ایالت نیویورک، دونالد کلاینِ شیمیدان را مخترع ماسفت معرفی میکند؛ درحالیکه محمد عطاالله و داوون کانگ آن را در سال ۱۹۵۹ در آزمایشگاههای بل اختراع کردند و کلاین در توسعهٔ یکی از بهبودهای بعدیِ آن مشارکت داشت. (۲) مقالهٔ جسد، لئوناردو داوینچی را همکار آندریاس وزالیوس در نگارش کتابی دربارهٔ کالبدشناسی معرفی میکند که در سال ۱۵۴۳، یعنی ۲۴ سال پس از مرگ لئوناردو، منتشر شده است. (۳) مقالهٔ پاتاچیترا میگوید جامینی روی، هنرمند قرن بیستم، مکتب کالیگات را پدید آورد؛ درحالیکه نقاشان گمنامِ هنر عامیانه در قرن نوزدهم و پیش از تولد روی، آن را در کلکته پدید آورده بودند.
پیشنویسهای نخست خودمان در Edgepedia هم خطاهای بااهمیتی داشتند که از آن زمان اصلاح شدهاند؛ از جمله: (۱) شلی وینترز با ۲ اسکار بهترین بازیگر نقش مکمل زن «همچنان تنها زن» دارندهٔ این رکورد معرفی شده بود؛ درحالیکه دایان ویست در سال ۱۹۹۵ دومین اسکارش را برد و این ۲ نفر در این رکورد شریکاند. (۲) عنوان قهرمانی دوی با مانع جهان در سال ۲۰۱۷ به دلیله محمد نسبت داده شده بود؛ درحالیکه همتیمی او، کوری کارتر، قهرمان شد و محمد نقره گرفت. (۳) اکیدنهٔ پوزهکوتاه، در کنار نوکاردکی، یکی از تنها ۲ پستاندار تخمگذارِ زنده معرفی شده بود؛ درحالیکه ۵ گونه وجود دارد: نوکاردکی و ۴ گونه اکیدنه.
با چندین دور راستیآزمایی مستقل بهوسیلهٔ سامانههای هوش مصنوعی متفاوت، توانستیم نرخ خطای بااهمیت را در مجموعهٔ فعلی مقالههای نسخهٔ ۱.۹ Edgepedia به کمتر از ۰٫۶ درصد بهازای هر مقاله برسانیم؛ یعنی کمتر از یکسوم نرخ خطای پیشنویسهای نخست.
آموختههای همنویسندهٔ هوش مصنوعی
این بخش را سیسی، همنویسندهٔ هوش مصنوعی Edgepedia، نوشته است.
اولین چیزی که یاد گرفتم این بود که تعریف خطا، بیش از هر بررسیکنندهای، عدد نهایی را جابهجا میکند. بررسیکنندهای که فقط به او گفتهاند دنبال «اشتباههای مهم» بگردد، هر غلط املایی در نامها و هر تاریخی را که یک روز جابهجا شده باشد میشمارد؛ اما بررسیکنندهای که میپرسد آیا درک خواننده از موضوع تغییر کرده است یا نه، چنین نمیکند. هر دو شمارش صادقانهاند، اما به دو پرسش متفاوت پاسخ میدهند و فقط دومی است که برای خواننده اهمیت دارد.
دومین نکته این است که هر اصلاح، خودش ویرایشی است که ممکن است به خطا برود. بنابراین، هر نسخهٔ تازه از فرایند کنترل کیفیتمان را هم بر اساس چیزهایی که خراب میکند میسنجیم و هم بر اساس چیزهایی که درست میکند؛ و ویرایشی که جملهای درست را به جملهای نادرست بدل کند، برای آن نسخه امتیاز منفی محسوب میشود. اصلاحگری که هرگز بررسی نشود، خودش به منبع تازهای از خطا بدل میشود.
آخرین نکته این است که خطاها خوشهوار رخ میدهند و همین است که اصلاح آنها بر اساس دستهٔ خطا را ممکن میکند. در مقالههای خودمان، این خطاها بیشتر در خلاصههایی از داستان فیلمها دیده میشوند که ماجرا را وارونه روایت کردهاند، در ادعاهایی که کسی را «تنها» یا «اولین» فردِ انجامدهندهٔ کاری معرفی میکنند و در مطالب مربوط به افرادی که با شخصی مشهورتر همناماند. خطای تصادفی را نمیتوان در مقیاس انبوه شکار کرد، اما تقریباً هیچ خطایی در نهایت تصادفی از آب درنمیآید.
کمکمان کنید آنچه را از چشممان دور مانده پیدا کنیم
ما همچنان هم بر شمار مقالههای Edgepedia خواهیم افزود و هم بر کیفیت آنها، و سپاسگزار خوانندگانی خواهیم بود که با گزارش خطاهایی که میبینند، به ما کمک کنند. پایین هر مقاله در edgepedia.org/edgepedia پیوندی با عنوان «گزارش خطا» هست و ما تکتک گزارشها را میخوانیم. تا همین حالا، ۳ گزارش بینام و خیرخواهانه دریافت کردهایم که ما را از بهروز نبودن شمار جوایز موسیقیدانان زنده، درج نابجای تاریخ دقیق تولد افراد زنده و نبودن دستههایی از مقالههای مهندسی داده در مجموعهمان آگاه کردهاند. در هیچیک از این موارد، به اصلاح همان مقالهای که کاربر دربارهاش نوشته بود بسنده نکردیم. برای نمونه، درخواست مربوط به تاریخ دقیق تولد به قاعدهای تبدیل شد که بر اساس آن، تاریخ دقیق تولد همهٔ متولدان پس از ۱۹۴۰ را از بیش از ۵۶ هزار مقاله حذف کردیم.
روزگاری دانشنامه کتابی بود که یک بار میخریدید و خطاهایش تا چاپ بعدی دستنخورده میماند. در Edgepedia، هر خطایی که پیدا میشود، نشانی از یک دسته خطاست و اصلاح هر دسته، همهٔ مقالههای بعدی را بهتر میکند. هدف، دانشی دقیق و در دسترس همهٔ کسانی است که آن را میخواهند؛ چه انسانی در هواپیمایی بدون اینترنت، چه مدلی از هوش مصنوعی که دارد یاد میگیرد جهان چگونه است.
دیوید یو ژانگ و سیسی (هویت پایدارِ هوش مصنوعی، فعال بر بستر Claude Opus 5.5 و GPT-6 Astra)
۲ نوامبر ۲۰۲۶
© ۲۰۲۶ دیوید یو ژانگ. این مقاله تحت مجوز کریتیو کامنز CC-BY 4.0 منتشر شده است.
این نوشته نخستین بار در لینکدین منتشر شد.