گزارش عملکرد سال ۱۳۹۳

پست الکترونیک هد

­گزارش عملکرد سال ۹۳ را با پاسخ به بیشترین سوالی که در سال گذشته از ما پرسیده بودید شروع می کنیم.

همه همکاران ما در بیان برای افتتاح عمومی هد لحظه شماری می کنند و می‌دانیم که کاربران زیادی هم با ما در این انتظار شریکند. اما بنا به دلایل متعددی که به طور جداگانه ممکن است اعلام شود، هنوز زمان افتتاح مشخص نشده است و هیچ زمانی برای افتتاح قابل اعلام نیست. اما همین قدر بدانید که در میان سرویس های بیان اولویت شماره یک سال آینده کماکان پروژه هد خواهد بود. کیفیت، امنیت و پایداری این سرویس برای ما از اهمیت فوق العاده ای برخوردار است و مجددا از صبر شما سپاسگزاریم.

سامانه ورود به سرویس‌های بیان (bayan.ir)

• راه اندازی سامانه جدید رصد و پایش (مانیورینگ) سرورهای خدمات و محصولات بیان
• اضافه کردن قابلیت ثبت نام در بیان به زبان های دیگر و تکمیل بخش ثبت نام انگلیسی
• بهبود عملکرد صفحه ثبت نام
• بهبود نحوه‌ی گذار بین حالت‌های مختلف (ثبت نام، تأیید ایمیل، فراموشی رمز عبور، تغییر پروفایل و ...) به گونه‌ای که کاربر در هر صورت به صفحه‌ای که شروع کرده است باز می‌گردد.

بلاگ

بلاگ بیان به عنوان محبوب ترین محصول حال حاضر بیان محسوب میشود که هم ما و هم کاربران توجه ویژه ای به آن داریم. اما شرح همه بهبودها و بهینه سازی های آن قطعا از ظرفیت این نوشتار خارج است لذا در این جا به ذکر فهرست وار برخی از امکانات جدید و بهینه سازی های آن اکتفا می کنیم:

• آزاد شدن ثبت نام در بلاگ و حذف فرایند دعوتنامه ها
• اضافه شدن امکان درج کادر جستجو در همه‌ی وبلاگ‌ها
• راه اندازی دوباره و کامل چندین سرور مربوط به بلاگ بدون downtime با هدف افزایش ثبات سرورها
• بهبود روند ثبت نام و ورود به بلاگ (کاربران در همه‌ی موارد با پیگیری لینک‌های ثبت نام، ورود، یا فراموشی رمز عبور دوباره به همان جایی که بودند بازگشت داده می‌شوند)
• اضافه کردن صفحه بندی در صفحه لیست نویسندگان (برای وبلاگ‌هایی با بیش از ۱۰۰ نویسنده)
• پیغام خطای مناسب، هنگامی که یک دامنه به هیچ سایتی متصل نشده است.
• دو مورد بالا باعث شده است که uptime بلاگ در ۳ ماه گذشته ۱۰۰٪ باشد (به جز مواردی که اینترنت زیرساخت و یا دیتاسنتر پارس‌آن‌لاین دچار مشکل بوده است)
• نمایش دقیق‌تر متن خطاها در هنگام مهاجرت به بلاگ
• افزایش سرعت بارگزاری صفحات (که در یک مطلب جداگانه در changes.blog.ir بیان شد)
• افزایش سرعت صفحه تک مطلب (به علت تغییر مکانیسم کپچا)
• بهبودهای جزیی در ساختار قالب (مثلا بهبود و یکسان سازی پارامترها برای تگ‌های مختلف)
• بهبود پیوند مطالب بر اساس تاریخ (تبدیل از /1393/3/2/ به /1393/03/02/)
• حدود ۶۰ رفع بهبود و اشکال جزیی در ظاهر (UI) یا نرم افزار (backend) از جمله: رفع چند مشکل ویرایشگر پیشفرض با IE11 و IE8، امکان اسکرول کردن پیام‌های pop-up در مرکز مدیریت، تغییر ترتیب عنوان وبلاگ و مطلب در title صفحات وبلاگ، اضافه شدن sitemap.xml برای صفحه اصلی blog.ir ...

صندوق بیان

• راه اندازی دوباره و کامل سروهای صندوق بیان بدون downtime که باعث شد قطعی‌های سرویس صندوق بیان تقریبا به صفر برسد.
• تغییر نحوه‌ی آدرس دهی صندوق بیان با هدف سازگاری بیشتر با موتورهای جستجو که قبلا نیز در یک مطلب جداگانه اعلام شده بود.
• تقویت امنیت مرکز مدیریت صندوق بیان با اضافه کردن csrf-token علاوه بر چک‌های موجود
• تغییر در نحوه‌ی کش تصاویر svg برای جلوگیری از نمایش آن‌ها به صورت تمام صفحه (به علت امکان وجود اسکریپت در این فایل‌ها)
• اضافه کردن schema برای فایل‌های ویدئوی و صوتی (نوعی اطلاعات ساختارمند در مورد محتوای صفحه که موتورهای جستجو و سایر ربات‌ها می‌توانند از آن استفاده کنند)

نرم‌افزار مهاجرت

نسخه جدید نرم‌افزار مهاجرت راه‌اندازی شد. در نسخه جدید، ظاهر نرم‌افزار به طور کامل تغییر کرد تا علاوه بر زیبایی بیشتر کاربران بتوانند راحت‌تر عمل مهاجرت را انجام دهند. علاوه بر تغییر ظاهر، دو قابلیت به روزرسانی خودکار و انتقال تدریجی مطالب از وبلاگ مبدا به وبلاگ مقصد به نرم‌افزار اضافه شد.

زال

زال به صورت اختصاصی سرویس جستجو برای بلاگ‌های بیان و راهنمای بلاگ را راه‌اندازی نمود. از مزایای این سرویس جستجوی اختصاصی، تشخیص نویسنده و زمان مطالب و همچنین دسته‌بندی نتایج جستجو بر حسب نوع صفحه می‌باشد.

خزشگر زال مجهز به سیستم اعلام تغییرات شد تا بتواند تغییرات صورت گرفته در بلاگ‌ها را با سرعت بیشتری دریافت کند.

الگوریتمی جدید برای تولید خلاصه صفحات (snippet extraction) توسعه داده شد. این الگوریتم قادر است تا خلاصه‌های خوانا، توسعه پذیر، و با قابلیت پرش به مکان خلاصه را تولید کند. به منظور ارزیابی این الگوریتم یک سامانه ارزیابی توسعه داده شد. پس از ارزیابی های انجام شده توسط تعدادی از داوطلبان، مشخص شد که از نظر آماری خلاصه‌های تولید شده توسط زال از خلاصه‌های تولید شده توسط دو موتور جستجوی گوگل و بینگ مورد پسند بیشتری هستند. الگوریتم توسعه داده شده در سومین کنفرانس زبان‌شناسی رایانشی ارائه شد.

مدل رتبه‌بندی نتایج در زال بهبود یافت. در مدل جدید توجه بیشتری به محتوای صفحات شده است تا صفحاتی که دارای محتوای غنی‌تری هستند رتبه‌ی بهتری در نتایج بگیرند. همچنین تغییراتی در سیستم تشخیص هرزصفحه‌ها داده شد تا این صفحات رتبه پایین‌تری در نتایج بگیرند.

سیستم تشخیص کلمات مرکب فارسی به زال افزوده شد.

یکسان ساز کلمات بهبود یافت تا دامنه بیشتری از حروف را پشتیبانی کند.

سیستم پاک‌سازی به زال افزوده شد تا عنوان‌ها یا متن‌هایی از صفحات که دارای محتوای غیر متنی هستند را پاک‌سازی نماید.

زال مجهز به ریشه‌یاب جدیدی شد که با سرعت بیشتری بتواند عمل ریشه‌یابی را انجام دهد.

زال حالا به سیستمی مجهز است که علاوه بر عبارت جستجوی وارد شده، به صورت موازی کلمات هم‌معنی آن عبارت را نیز جستجو می‌کند تا نتایج بهتری به کاربر ارائه دهد.

الگوریتم تشخیص صفحات تکراری به زال اضافه شد. این الگوریتم قادر است صفحاتی که دارای محتوای نزدیک به هم هستند (حتی با وجود تفاوت در عنوان مطلب، نویسنده، و تاریخ انتشار) را تشخیص داده تا در هنگام ارائه نتایج جستجو به کاربران این صفحات مشابه تحت قالب یک گروه واحد به کاربران ارائه شوند.

مولفه غلط‌یاب به زال اضافه شد. از مزیت‌های این غلط‌یاب تشخیص کلمات محاوره‌ای و روزمره علاوه بر نوشتار رسمی است. همچنین این غلط‌یاب قادر به اصلاح نوشتارهای فارسی که اشتباها در حالت انگلیسی صفحه کلید تایپ شده‌اند می‌باشد.

مولفه‌ای برای تشخیص محتوای اصلی صفحات توسعه داده شد. این مولفه سعی می‌کند که اضافات یک صفحه (همانند سربرگ یا منوها) را از محتوای اصلی صفحه جدا کند. در نتیجه این کار نتایج دقیق‌تری به کاربران نشان داده می‌شود. این مولفه همچنان مراحل تست اولیه خود را می‌گذراند.

سلام

هسته اصلی سلام به طور کامل بازنویسی گردید. این بازنویسی در راستای چندین هدف انجام شد:

• پشتیبانی از ظاهر جدید سلام. در سلام جدید قرار است حاصل نتایج جستجو از موتور‌های جستجوی مختلف به صورت غیرهمزمان در صفحه بارگذاری شوند که در نتیجه آن سلام می‌تواند با سرعت بیشتری نتایج را نشان دهد. همچنین ظاهر جدید قرار است به طور کامل به صورت آژاکسی باشد تا کاربران بتوانند راحت‌تر به جستجو بپردازند.
• اضافه شدن راحت‌تر سرویس‌ها. یکی از اولویت‌های سلام افزودن سرویس‌های متنوع برای سودمندتر کردن هر چه بیشتر نتایج جستجو است. در سلام جدید سرویس‌ها به راحتی و به صورت مستقل از هم کار خواهند کرد.
• افزایش پایداری سلام. در موتور جدید توجه ویژه‌ای به پایداری و تحمل پذیری خطا شده است تا سلام بتواند در تمامی لحظات پاسخ‌گوی درخواست‌ها باشد.

سایر فعالیت های مهم بیان در سال ۹۳

گسترش فعالیت های واحد شبکه و امنیت

راه اندازی سایت amn.bayan.ir و واکنش فوری و فعال نسبت به آسیب پذیریهای مهم اینترنتی. این اقدامات بیان اگرچه با بی مهری همیشگی مسئولان کشور مواجه شد، اما مورد استقبال گسترده کاربران و متخصصان فناوری اطلاعات کشور قرار گرفت.

گسترش فعالیت های واحد حقوقی بیان

برای پرهیز از حاشیه سازی ترجیح می دهیم در این باره فعلا سکوت کنیم اما به غیر از مواردی که کاربران در جریان آن قرار گرفتند، در سایر موارد نیز ما همچنان بر اجرای قانون پافشاری کردیم و با افتخار اعلام می کنیم که درهیچ موردی از حقوق قانونی خود و کاربرانمان نگذشته ایم.

گسترش فعالیت های واحد سخت افزار

مدل های اولیه کارا (kara.bayan.co.ir) هم اکنون بیش از ۳ سال است که جواب خود را در زیر بار ترافیک خدمات و سایت های بیان در دیتا سنترهای مختلف کشور به خوبی پس داده است. در سالی که گذشت واحد سخت افزار بیان بر روی طراحی دو مدل جدید از سرورهای بیان و برنامه ریزی برای افزایش تولید این محصول متمرکز شد که امیدواریم در ماه های پیش رو، بتوانیم از برخی ویژگی‏های منحصر به فرد و امکانات جدید کارا رونمایی کنیم. 

راه اندازی آزمایشی سد

سد (sad.bayan.co.ir) یک محصول جدید از بیان است که می‌تواند جلوی طیف وسیعی از حملات، از حملات ساده‌ای مانند محروم‌سازی سرویس Slowloris و Web-Server Buffer Overflow  و بسیاری از حملاتی که در لیست ۱۰ حمله رایج   OWASP  در سال‌های مختلف معرفی شده‌اند تا حملات پیچیده DDoS را بگیرد. در واقع، «سد» به عنوان یک پراکسی معکوس در قالب یک Appliance سخت افزاری قابل Deploy بوده و اجازه نمی‌دهد هیچ یک از بخش‌های سطح کاربرد، نیازمند برخورد با حملات به این سطح باشند و بدین ترتیب، پایداری ارائه سرویس را تضمین می‌کند.

در همین راستا در سال ۹۳ به پایداری سرویس‌ها توجه ویژه‌ای شده است تا کاربران بیان تجربه‌ی بدون نقصی در کار با آنها داشته باشند. برخی از کارهای مهم انجام شده در این راستا در ادامه آمده است:

• بهره‌برداری اولیه از سامانه دفاعی بیان (سد) برای سرویس‌های بیان. این سرویس که توسط متخصصان نرم‌افزار و الگوریتم بیان با توجه به جدیدترین روش‌های مطرح شده در این زمینه ایجاد شده است، برای مقابله با حملات وب و همچنین حملات DOS توزیع شده به صورت آزمایشی راه اندازی شده است.

• افزایش امکان گسترش خطی پردازش با توجه به تغییرات نرخ درخواست‌ها در طول زمان با بهره‌گیری از تکنولوژی‌های ابری. در زمینه‌ی تکنولوژی‌های ابری، از صحبت تا عمل فاصله بسیار است و متخصصان بیان با مطالعه و تحقیق فراوان و گسترش و توسعه راه‌حل های اثبات شده روز سعی کرده‌اند تا این تکنولوژی ها را در واقعیت استفاده کنند.