آرزوی انسان برای رسیدن به كمال مبین تئوری بهینهسازی است . انسان میخواهد بهترین را تجسم و توصیف كرده و به آن دست یابد (بیتلر و دیگران ،۱۹۷۹) ؛ اما از آنجایی كه میداند نمیتواند تمام شرایط حاكم بر بهترین را به خوبی شناسایی و تعریف نماید در بیشتر موارد به جای جواب بهترین یا بهینه مطلق ، به یك جواب رضایتبخش (وارنر ،۱۹۹۶) بسنده میكند . همچنین انسان در قضاوت عملكرد دیگران ، معیار بهترین را در نظر نمیگیرد بلكه آنان را به صورت نسبی مورد ارزیابی قرار میدهد (گلدبرگ ،۱۹۸۹) ؛ بنابراین انسان به دلیل ناتوانی خود در بهینهسازی ، به بهبود ارزش ویژهای میدهد .
بیتلر و دیگران (۱۹۷۹) بهینهسازی را چنین شرح میدهند : فعل بهینه ساختن كه كلمه قویتری نسبت به بهبود میباشد عبارتست از دستیابی به بهینه و بهینهسازی اشاره به عمل بهینه ساختن دارد . بنابراین تئوری بهینهسازی شامل مطالعات كمی بهینهها و روش یافتن آنهاست . همچنین بهینه به عنوان یك واژه فنی دلالت بر اندازهگیری كمی و تحلیل ریاضی دارد در حالی كه بهترین ، دارای دقت كمتر بوده و بیشتر برای امور روزمره استفاده میشود .
در بیشتر موارد آنچه كه با هدف بهینهسازی انجام میدهیم بهبود است . بهینهسازی به دنبال بهبود عملكرد در رسیدن به نقطه یا نقاط بهینه است . این تعریف دو قسمت دارد : ۱- جستجوی بهبود برای رسیدن به ۲- نقطه بهینه . تفاوت روشنی بین فرایند بهبود و مقصد یا نقطه بهینه وجود دارد . هنوز هم معمولا در رویههای بهینهسازی تمركز بر همگرایی است (آیا به نقطه بهینه میرسد؟) و عملكرد ضمنی رویه به طور كلی فراموش میشود . این اهمیت نسبت به همگرایی مربوط به ریشههای بهینهسازی در ریاضیات است اما همان طور كه اشاره شد در عمل چنین اهمیتی طبیعی و معقول نمیباشد (گلدبرگ ،۱۹۸۹) . این مقایسه قصد بیارزش نشان دادن همگرایی و دقتهای معمول ریاضی را ندارد چرا كه این حوزه خود مبنای ارزشمندی برای مقایسه روشهای بهینهسازی ارائه میكند .
در مقایسه الگوریتمهای بهینهسازی دو معیار همگرایی و عملكرد مطرح میشود . بعضی از الگوریتمها دارای همگرایی بوده ولی ممكن است عملكرد ضعیفی داشته باشند ، یعنی فرایند بهبود آنها از كارایی و سرعت لازم برخوردار نباشد ؛ برعكس بعضی دیگر از الگوریتمها همگرایی نداشته ولی عملكرد آنها خیلی خوب است .
می توان هدف از فرایندهای جستجو را در سه دسته زیر بیان كرد :
۱- بهینهسازی
۲- یافتن جواب عملی
۳- شبه بهینهسازی
در شرایطی كه ما به یافتن جواب در همسایگی جواب بهینه راضی باشیم هدف جستجو را شبه بهینهسازی مینامند . شبه بهینهسازی دارای دوطبقه است ؛ اگر هدف ، یافتن جواب عملی خوب در فاصله تعریف شدهای از جواب بهینه باشد به آن بهینهسازی نزدیك گفته میشود . اگر شرط فاصله تعریف شده برای جواب بدستآمده حذف گردد و تنها یافتن جواب نزدیك بهینه با احتمال بالا هدف باشد به آن بهینهسازی تقریبی گفته میشود .
بیشتر مسائل عملی آنقدر مشكل هستند كه در آنها هدف ، شبهبهینهسازی در نظر گرفته میشود تا از این طریق تعادلی بین كیفیت جواب بدست آمده و هزینه جستجوی آن جواب برقرار گردد . همچنین از آنجایی كه تعداد محاسبات مسائل بهینهسازی تركیبی به اعداد نجومی میرسد حذف شرط بهینگی یك ضرورت اقتصادی است . در شبهبهینهسازی باید الگوریتمهایی ارائه كرد كه حدود مناسب میزان محاسبات و نزدیكی به بهینگی را تضمین نموده و تعادلی بین آنها برقرار نمایند . این الگوریتمها باید مجهز به پارامترهای قابل تنظیم باشند تا كاربر بتواند با تغییر آن پارامترها تعادل مطلوب بین جواب بدست آمده و میزان محاسبات را برقرار نماید . (پیرل ،۱۹۸۴)