نوع مقاله : مقاله پژوهشی
نویسنده
دانشیار سیاستگذاری عمومی گروه علوم سیاسی، دانشکده حقوق و الهیات دانشگاه شهید باهنر کرمان، کرمان، ایران.
چکیده
کلیدواژهها
موضوعات
عنوان مقاله [English]
نویسنده [English]
The aim of the research is to identify and rank the challenges of evaluating development policies in Iran. To achieve this goal, qualitative and quantitative methods have been applied in two stages. In the first stage, evaluation challenges were identified based on the qualitative coding method and existing research and reports, and in the second stage, they were ranked quantitatively by the hierarchical analysis method. At this stage, the data collection tool was a paired comparison questionnaire containing eighteen challenges, which was given to executive and academic experts in this field for ranking. A total of 34 questionnaires were analyzed. The research findings demonstrated "lack of will required to apply the evaluation findings" with a weight of 0.11641, "spirit of non-responsibility and irresponsibility" with a weight of 0.1064, and "negative perception of evaluation and resistance to it" with a weight of 0.0942, which are related to the culture of evaluating development policies, are more vital than the challenges related to technical and informational issues.
کلیدواژهها [English]
مقدمه
ارزیابی، محور قضاوت درباره موفقیت یا شکست سیاستهای عمومی و یکی از چالشبرانگیزترین مراحل سیاستگذاری است. هاولت، رامش و آنتونی با اشاره به اینکه ارزیابی سیاست فراتر از چیزی است که اغلب در متون از آن یاد میشود، تعاریف تخصصی و روزمره را با یکدیگر ترکیب کردهاند. آنها ارزیابی را به سه مقوله اداری، قضایی و سیاسی تقسیم میکنند. ارزیابی اداری، جریان مسلط در ادبیات ارزیابی است که به مسائلی چون کارایی، اثربخشی، فرایند و عملکرد سیاستگذاری میپردازد. ارزیابی قضایی به انطباق سیاستها با قوانین و مقررات عام و در رأس آن قانون اساسی توجه دارد. ارزیابی سیاسی از قضاوت شهروندان درباره سیاستها تا مشورت با اعضای زیر نظام سیاسی درباره مزایا و معایب آن سیاستها نوسان دارد (هاولت، رامش و آنتونی، 1399: 273). سیمونز نیز ارزیابی را به سه دسته بوروکراتیک (معطوف به گسترش قدرت مدیریتی)، اتوکراتیک (معطوف به تداوم مشروعیت علمی) و دمکراتیک (معطوف به خدمت اجتماع) تقسیم میکند. پاول در ارزیابی سیاستها دو نوع ذاتی و عرضی را از یکدیگر متمایز میکند و مورتاگ ارزیابی را در دو گروه کلی ابزاری و تفسیری قرار میدهد (Taylor, 2006: 51-60). هانسن نیز یک مدل ارزیابی 6طبقهای ارائه کرده که شامل مدل فرایندی، اقتصادی، نظریه برنامه،[1] نتیجهای، سامانهای و کنشگر است (Hansen, 2005: 365).
بررسی ادبیات ارزیابی سیاستهای عمومی گویای تنوع و تعدد روشها و مدلهای ارزیابی است. بهرغم رشد فزاینده تحقیقات ارزیابی از دهه 1960 در سطح جهان و نهادینه شدن فرایند ارزیابی سیاستهای عمومی در قالب سازمانها و مؤسسات دولتی و غیردولتی، هنوز یک سنت قوی مطالعاتی درباره ارزیابی سیاست در ایران شکل نگرفته است. سازمانهای مشخصی به صورت تخصصی برای ارزیابی سیاستهای عمومی وجود ندارد و احزاب و گروههای سیاسی یا سازمانهای مستقل غیردولتی نیز ارزیابی سیاستهای عمومی را به صورت منظم و حرفهای دنبال نمیکنند. ارزیابی سیاستهای عمومی در ایران بازیگران مختلفی دارد از جمله مجمع تشخیص مصلحت نظام، مجلس شورای اسلامی، دیوان محاسبات، سازمان حسابرسی، سازمان بازرسی کل کشور، دیوان عدالت اداری و سازمان برنامه و بودجه.
برنامههای پنجساله توسعه بهعنوان مهمترین قالب سیاستگذاری توسعه توسط سازمان برنامه و بودجه تدوین شده و در نهایت به تصویب مجلس شورای اسلامی میرسد و به صورت قانون تبدیل به اسناد بالادستی توسعه میشود. تاکنون 6 برنامه توسعه تدوین و اجرا شده است. آنچه که مربوط به ارزیابی برنامههای توسعه پنجساله کشور است، در سازمان برنامه و بودجه انجام میشود. برنامههای توسعه با سرمایهگذاری کلان جامعه و صرف امکانات تدوین و اجرا میشوند، در نتیجه پیگیری و بررسی تحقق یا عدم تحقق اهداف برنامهها و دلایل آن از خواستههای عمومی است. در این راستا یکی از وظایف سازمان برنامه و بودجه «نظارت مستمر بر اجرای برنامهها و پیشرفت سالیانه آنها» عنوان شده است و در این زمینه گزارشهای اقتصادی سالیانه این سازمان منتشر میشود. برنامههای پنجساله توسط پژوهشگران رشتههای علمی مختلف و با رویکردها و روشهای مختلف مورد بررسی قرار گرفتهاند که در قسمت پیشینه پژوهش به آن اشاره شده است. در این پژوهشها، آسیبها و چالشهای برنامههای پنجساله توسعه از زوایای گوناگون بررسی شده است. با توجه به اهمیت مرحله ارزیابی سیاستها و کارکردهای مهم آن در تحقق برنامههای توسعه، هدف پژوهش حاضر، شناسایی و رتبهبندی چالشهای ارزیابی سیاستهای توسعه است. برای دستیابی به این هدف در دو مرحله از روش کیفی و کمّی استفاده شده است.
مفهوم ارزیابی با عناوین سنجش و ارزشیابی نیز آورده شده است در محدودترین حالت به بررسی و قضاوت درباره نتایج و میزان موفقیت برنامههای در حال اجرا و اجرا شده، از حیث رسیدن به اهداف از پیش تعیین شده گفته میشود (The Social Science Encyclopedia, 2004). ارزیابی سیاست، فرایندی است که به صورت نظاممند و هدفدار، ارتباط کارایی و اثربخشی یک برنامه یا فعالیت با توجه به اهداف آن تعیین میشود. از طرفی ارزیابی سیاست یا برنامه، بهکارگیری روشهای نظاممند برای پاسخگویی به سؤالاتی درباره اجرای برنامه و نتایج آن شامل پایش همزمان برنامه به همراه مطالعات مقطعی و دورهای فرایند و آثار برنامه است.
ارزیابی سیاست از نظر ماهیت، حداقل چندرشتهای و میانرشتهای است: کار ارزیابی نیاز به تیمهایی دارد که اعضای آن دیدگاهها و مهارتهای متمایزی دارند تا بتوانند نقشهای مختلف مورد نیاز در یک پروژه معین را برعهده گیرند. همچنین زمینههای سیاستی بیانگر آن است که ارزیابی بهطور ایدئال یک کار فرارشتهای است. هر یک از رشتههای در خدمت دانش برای اطلاعرسانی برنامه و بهبود سیاستها، ممکن است ارزش خاص خود را داشته باشند، اما این رشتهها باید پاسخگوی خواستههای دانش ارزیابی باشد. ارزیابی سیاست مجموعهای منظم از اطلاعات در مورد فعالیتها، ویژگیها و نتایج برنامهها برای قضاوت درباره برنامه، بهبود اثربخشی و یا آگاه کردن تصمیمات درباره برنامههای آینده است. این تعریف بهطور مستقیم درباره سه ویژگی تعیینکننده ارزیابی بحث میکند: استفاده از جمعآوری نظاممند دادهها (روشها)، نقش اصلی قضاوت درباره برنامهها و خطمشیها (ارزشگذاری) و آگاه کردن تصمیمگیری (کاربرد)، سه سازوکار منطق اساسی استفاده از ارزیابی برای برنامههای اجتماعی را تشکیل دادهاند:
الف) ایجاد تغییرات برنامه،
ب) انتخاب گزینهای که مشکل را بیشتر کاهش دهد (ارزیابی نتیجه چندگانه)،
ج) حفظ دانش در مورد برنامههای مؤثر (Lemire, Peck and Porowski).
ادبیات ارزیابی دو محور اصلی دارد:1) ارزیابی سازمانها و مؤسسهها، 2) ارزیابی طرحها (پروژهها)، برنامهها و سیاستها. صرفنظر از ارزیابی طرحها که سطح خُرد محسوب شده و معمولاً در مدیریت پروژه به آنها پرداخته میشود، ارزیابی برنامه و سیاست برای مداخلههای سیاستی وسیع به کار میروند. البته ارزیابی برنامه و سیاست ناگزیر ارزیابی طرح را نیز دربرمیگیرد. مطالعات پیرامون ارزیابی سیاست از ارزیابی برنامه قابل تفکیک نیست. گرچه برخی نویسندگان بر پیچیدگی و وسعت ارزیابی سیاست نسبت به ارزیابی برنامه تأکیدکردهاند اما آنها نیز از روشها و مدلهای رایج استفاده میکنند (امامی میبدی و اشتریان، 1391: 11-10).
ارزیابی سیاست به دنبال آگاهسازی تصمیمگیرندگان با پیشبینی و ارزیابی تأثیرات احتمالی گزینههای سیاستی است. آخرین نکته مفهوم ارزیابی است، یعنی از سطح پروژه و یا برنامه به سطح سیاست؛ این ارزیابی تا حدی ناشی از انتقاداتی است که ارزیابی سطح پروژه و برنامه، یعنی ارزیابی تأثیرات محیطی[2] و ارزیابی استراتژیک محیطی،[3] به اندازه کافی در چرخه سیاست دیده نمیشود. ارزیابی سیاست از مراحل استاندارد مشابه ارزیابی تأثیرات محیطی و ارزیابی استراتژیک محیطی (یعنی شناسایی مشکل، تعیین اهداف، شناسایی گزینههای سیاست، تجزیهوتحلیل اثرات و ...) استفاده میکند که اغلب در بخشهای دولت مرکزی یا وزارتخانهها برای سیاستهای سطح ملی استفاده میشود (Adelle and Weiland, 2012).
از میان نظرهای اندیشمندان سیاستگذاری، مفهومی فراتر نمایان میشود، بهگونهای که ارزیابی در تمام مراحل سیاست حضور و بروز دارد. ارزیابی سیاست را با توجه به مراحل زمانی مورد بررسی در چرخه سیاستگذاری به سه دسته عمده تقسیم کردهاند:
الف) ارزیابی آیندهنگر یا پیشینی: در زمان تدوین سیاست انجام شده و طی آن عقلانیت و دلایل توجیهی سیاست یا برنامه بررسی میشود. در این ارزیابی، روش کار و الگوی منطقی انجام فعالیتهای سیاستی برای حصول نتایج ترسیم شده و زمان و میزان تحقق نتایج سیاستها برآورد میشود.
ب) ارزیابی حین اجرا: طی عمر اجرایی یک سیاست و بهطور مستمر و مرحلهای انجام میشود تا با اعلام هشدار سریع به مجریان، اصلاحات لازم حین اجرای سیاست، انجام گیرد.
ج) ارزیابی گذشتهنگر یا پسینی: پس از اتمام اجرای سیاست انجام شده و خروجیهای بلافصل، پیامدها و آثار سیاست را بررسی میکند و درخصوص کارآمدی سیاست در تحقق اهداف قضاوت انجام میدهد (واعظی و محمدی، 1396).
سه نوع اصلی ارزیابی که هر یک بر مرحله متفاوتی از روند سیاست متمرکزند عبارتند از:
ارزیابی محتوای سیاست: آیا محتوا به وضوح اهداف سیاست، اجرای آن و منطق اساسی را توضیح میدهد که چرا این سیاست تغییرات مورد نظر را ایجاد میکند؟ ارزیابی توسعه یک سیاست به درک زمینه، محتوا و اجرا کمک میکند.
ارزیابی اجرای سیاست: آیا این سیاست مطابق هدف اجرا شد؟ اجرای یک سیاست مؤلفهای مهم در درک اثربخشی آن است. ارزیابی اجرای سیاستها میتواند اطلاعات مهمی را در مورد موانع و تسهیلکنندگان اجرا و مقایسه بین اجزای مختلف یا شدت اجرا ارائه دهد.
ارزیابی اثر سیاست: آیا این سیاست نتایج و آثار مورد نظر را به همراه داشت؟ در زمینه پیشگیری از آسیب، تأثیر مورد نظر ممکن است کاهش صدمات یا شدت جراحات باشد. بااینحال، ارزیابی نتایج کوتاهمدت و متوسط نیز مهم است (Athey, and Imbens, 2017).
ارزیابی سیاست را میتوان به سه گروه دستهبندی کرد که عبارتند از: اداری، قضایی و سیاسی که این دستهبندی به شیوه اجرا و مدیریت، بازیگران مشمول و نوع کار آنها برمیگردد (هاولت، رامش و آنتونی، 1395: 329).
این نوع ارزیابی معمولاً در درون دولت و به وسیله مؤسسات تخصصی ویژهای انجام میشود که تنها وظیفه آنها، ارزیابی سیاستهاست. البته غالب این نوع ارزیابیها توسط ناظران مالی، حقوقی و سیاسی وابسته به سازمانهای دولتی، مؤسسات اجرایی تخصصی، قوای قانونگذاری و قضائیه انجام میشود. در ارزیابی اداری معمولاً اما نه همیشه، بررسی کارایی ارائه خدمات مدنظر بوده است. منظور این است که مطمئن شویم سیاستها با صرف کمترین منابع و تحمیل کمترین هزینه به شهروندان، به هدفهای مورد نظر دست یافته باشند. این اشتیاق به کارایی، الهامبخش نظامهای ارزیابی رسمی بوده است. از جمله بررسی عملکردهای مدیریتی، بررسیهای پرسنلی، حسابرسیهای سالیانه و ایجاد نظامهای بودجهبندی که میکوشند نسبت به شیوههای اداری سنتی، سازگاری بهتری بین هدفها و هزینهها برقرار کنند. ارزیابی اداری مستلزم جمعآوری اطلاعات دقیق (شواهد) از بازدهی برنامهها و انطباق آنها با استانداردهاست به شیوهای که امکان مقایسه دقیق هزینهها و نتایج حاصل در طول زمان و بخشهای سیاستگذاری فراهم آید. چنین کاری کاملاً فنی و به شدت تفصیلی است. اگرچه افزایش پیچیدگی لزوماً به معنای افزایش سودمندی نیست (همان: 330). ارزیابیهای اداری به شکلهای مختلف انجام میشوند که از نظر سطح تفصیل و رسمیت با یکدیگر متفاوتاند. در مواردی که سازمانهای حکومت یا «سازمانهای بیطرف» خارج از حکومت عهدهدار انجام کار هستند. این ارزیابیها عموماً به پنج نوع متفاوت تقسیم میشوند: فرایند، تلاش، عملکرد، کارایی و اثربخشی (همان).
ارزیابی قضایی
دومین نوع عمده ارزیابی سیاست به جنبههای موضوعات قانونی مربوط به شیوه اجرای برنامههای حکومت میپردازد. این ارزیابیها به وسیله نیروهای قضایی انجام میشود و به نگرانیهای ناشی از امکان به وجود آمدن تعارض بین اقدامات حکومت و اصول قانون اساسی یا استانداردهای موضوعه برای اداره امور با حقوق افراد میپردازد.
از قوه قضائیه انتظار میرود اقدامات دولت را رأساً یا به درخواست افراد یا سازمانهایی که نسبت به عملکرد مؤسسات دولتی معترض هستند و دادخواست خود را به مراجع قضایی تسلیم کردهاند، مورد رسیدگی قرار دهد. زمینههای ارزیابی قضایی در کشورها متفاوت است، ولی همیشه به بررسی دقیق حقوق اساسی سیاستهای در جریان اجرا معطوف است، یا اینکه تدوین و اجرای آنها، اصول حقوق طبیعی و یا عدالت را در جوامع مردمسالار یا آموزههای دینی یا ایدئولوژیک در سایر کشورها را نقض نکرده باشند. ارزیابی قضایی متوجه عواملی است که سیاست با توجه به آنها تدوین و به شیوهای غیرخودسرانه و مطابق با اصول قابل تعقیب قضایی و قوانین اداری، تصویب و به اجرا درآمده باشد (همان: 335).
ارزیابی سیاسی سیاستهای حکومت میتواند از جانب هر کسی و یا هر نفعی در عرصه سیاسی انجام شود. ارزیابیهای سیاسی برخلاف ارزیابیهای اداری و قضایی معمولاً نه نظاممند است و نه از نظر فنی مفصل، در واقع، بسیاری از آنها ذاتاً جانبدارانه و یکسویه هستند. ارزیابیهای سیاسی جانبدارانه اغلب فقط سعی میکنند با زدن برچسبهای موفق و شکستخورده، تقاضای تداوم یا تغییرشان را دنبال کنند. همان کاری که بسیاری از اتاقهای فکر انجام میدهند که مانند احزاب سیاسی، ایدئولوژی مشخص یا «چارچوب» نظری کموبیش تثبیت شدهای را به فرایند ارزیابی وارد میکنند. البته این عمل از اهمیت کار آنها نمیکاهد، چرا که هدف نخستین آنها در انجام ارزیابی به ندرت بهبود سیاستهاست، بلکه منظورشان حمایت یا مخالفت با آن است. تمجید یا انتقاد در این مرحله با تلاش حکومتها برای پاسخ به انتقادات، به تعامل در چرخه منجر شده و نظیر مواردی عمل میکند که در ارزیابیهای بسیار مستدلتر و فنیتر روی میدهد (همان: 336).
گونهشناسیهای مختلفی برای ارزیابی سیاست ارائه شده است؛ اما به نظر میآید نوعشناسی آلکین[4] (2012) کاملتر از سایر موارد گفته شده باشد؛ چراکه خود نظریهپردازان نیز با ارائه بازخورد به ایشان سهمی در تکمیل و بهبود طبقهبندی ذکر شده داشتهاند. از نظر آنان مدلهای ارزیابی به صورت کلی به سه دسته روشمحور (استفاده از تکنیکهای علمی اثباتگرایانه برای ارزیابی)، ارزشمحور (استفاده از روشهای گفتمانی و تعاملی برای ایجاد ادراک جمعی و مشترک در ارزیابی) و تلفیقی (ترکیب اقتضایی رویکردهای روشمحور و ارزشمحور به فراخور مسئله) تقسیم میشوند. در جدول زیر روشهای مورد استفاده در هر طبقه به تفصیل آمده است.
جدول 1. رویکردهای ارزیابی
رویکردهای اصلی ارزیابی |
انواع |
ابداعکننده |
ایده اصلی و تمرکز محتوایی |
روش مطالعه و نگرش |
نکات برجسته |
روشمحور |
هدفگرا |
تایلر (1942) |
تعیین اهداف، بررسی میزان تحقق اهداف مشخص |
مطالعات قیاسی (قیاسی - الگویی)، مقایسه با استاندارد، مقایسه با میانگین |
.............................. |
حسابرسی نتایج |
لئون لسینگر (1970) |
جلوگیری از اتلاف بودجه، گره زدن پرداخت به تأیید تحقق هدف توسط ارزیاب |
تعیین استانداردهای موفقیت، شکست، نتیجهگرایی، مدیریت برمبنای هدف، پرداخت برای نتایج خوب و تنبیه برای عملکرد نامناسب |
.............................. |
|
موارد موفق |
رابرت برینکوهوف (2003) |
کمک به مدیران با جمعآوری اطلاعات ساده، صریح و کمهزینه برای اندازهگیری خطمشی |
پیمایش کلی مخاطبان برای موارد موفق و ناموفق و معرفی آنها، آزمونهای آماری، مصاحبه |
.............................. |
|
رویکرد تجربی |
دانلد کمپبل (1963) |
نظارت بر تبعات و پیامدهای اجرای خطمشی |
مقایسه گروههای تجربی و کنترل قبل و بعد از اجرای خطمشی |
.............................. |
|
فراتحلیل |
کلاس (1976) |
رصد کردن پیامدها و آثار خطمشی موردنظر با تحلیل و ترکیب تحقیقات تجربی برای بهبود پایایی و روایی |
آزمونهای آماری، نتایج بهروشنی از دادهها استخراج میشود، مقبولیت عامه |
.............................. |
|
اطلاعاتگرا |
ادوارد دمینگ (1986) |
ایجاد پیامدهای بهتر با تمرکز مدیران اجرایی بر فرایندها و طراحی پایگاه دادهها برای پایش دقیق |
تحلیل مسیر بحرانی، برنامهریزی عملیاتی، نظام اطلاعات رایانهمحور، تحلیل سیستمی |
.............................. |
|
هزینهمبنا |
هنری لوین (1983) |
تفاوت در مورد بهرهوری خطمشی با فعالیتهای انجام شده خطمشی |
تحلیل هزینه به ورودی، تحلیل هزینه به اثربخشی، تحلیل هزینه به مطلوبیت |
.............................. |
|
دادهبنیاد |
گلیسر و استراوس (1979) |
ارزیابی خطمشی برمبنای یک نظریه |
شناسایی یا تدوین نظریه پایه براساس روشهای کمّی و کیفی |
.............................. |
|
موردپژوهی |
دانلد کمپبل (1975) |
توصیف موثق، عمیق و گسترده خطمشی برای ذینفعان |
تحلیل محتوای مستندات و مصنوعات، مشاهده مستقل و مصاحبه، گروه کانونی و پیمایش |
.............................. |
|
ارزشمحور |
خبرهگرا |
الیوت آیزنر(1975) |
تأکید بر توصیف، تحلیل عمیق شایستگی خطمشی از منظر خبرهها و تجربیات گذشته |
پانل نقد و ارزیابی فنی و تخصصی خبرگان |
قدرت شکلدهی و استفاده از نظرهای خبرگان در ارزیابی |
حقوقی |
ولف، اونز (1973) |
نظارت در خصوص توفیق خطمشی و برمبنای نظر موافقان و مخالفان با توجه به توازن، قوت و ضعف |
انواع روشهای کمّی و کیفی، علم منطق و فنون ارزیابی مخالف و موافق |
توجه به نظرهای هیئتمنصفه بهعنوان نمایندگان ذینفعان (حکمیت) |
|
مشتریگرا |
اسکریون (1967) |
تمرکز بر نهاد مصرفکننده خدمات خطمشی و نهادینه کردن قضاوت شایستگی اجرای خطمشی از دید آن |
ارزیابی جدا از اهداف، براساس انتظارات خدمتگیرندگان؛ تجربی و کنترل |
ارائه تصویر جامعی از مقبولیت، ارزشمندی و شایستگی خدمات از دید مشتریان |
|
ذینفعگرا |
رابرت استیک (1982) |
تأکید بر تعامل مستمر ارزیاب با مجریان و سایر ذینفعان برای پاسخ به نیازها و انتظارات |
اقدامپژوهی، روشهای کیفی، مشاهده مشارکتی، القای نقش و روایتی |
کثرتگرایی، انعطاف، تعامل، کلنگری، خدمتمحوری و استفاده از تمامی منابع |
|
ساختارگرا |
گوبا، لینکلن (1985) |
قرار دادن ذینفعان در مرکزیت ارزیابی (انکار وجود هرگونه استاندارد و واقعیت عینی) |
روشهای تحقیق کیفی با محوریت مذاکره و گفتوشنود |
بهبود سطح آگاهی ذینفع، تعامل ارزیابان، دخالت دادن طیف وسیعی از ارزیابان و انتظارات آنها و ترکیب نظرها |
|
تلفیقی |
واقعگرا |
پاسون و تایلی (1998) |
آشکارسازی نظریه پنهان (مستتر و مبنا) در هر خطمشی، ارزیابی ضمن توسعه و تکامل مفهومی با شاخصها و روابط میان عناصر |
تدوین نظریه پایه معطوف به زمینه مدل منطقی و اقدام، امکان بهکارگیری روشهای کمّی و کیفی |
کمک به بیان و ترسیم سیستمی (جزئی و کلی) خطمشی، تلاش هدفمند بر تدوین و اجرا و تئوریزه کردن |
تصمیمگرا |
استافل بیم (1968) |
تمرکز ارزیابی بر تصمیمات بهجای هدف برای کمک به مجریان برای ارائه دانش لازم جهت اتخاذ تصمیم مناسب |
ایجاد هیئت مشورتی از نمایندگان همه افراد و دستاندرکاران از خطمشیگذاری |
نقش پیشنگرانه ارزیابی بهعنوان ابزاری جهت بهبود خطمشی و تغییر رفتارها برای ارتقای توانمندی در اجرا |
|
مشارکتی |
بردلی کوئینز (1997) |
کمک به ارتقا و پیشرفت برنامه از طریق آموزش، کنترل کیفی فعالیتها و همکاری اعضای گروه در تشریک مساعی |
تشکیل گروه منتخب از کاربران و ارزیابان برای تعریف، اندازهگیری و قضاوت در خصوص آثار خطمشی |
آسانی و صمیمیت، عدم مقاومت نسبت به ارزیابی، افزایش احتمال استفاده از نتایج، منعطف بودن، تکرارپذیری |
|
مطلوبیتگرا |
مایکل پاتون (1995) |
مبتنی بودن ارزیابی بر برآورده کردن نیازهای کاربردی کارفرمای طرح ارزیابی (پیمانکاری) |
تحلیل ذینفعان، برگزاری پانل نقد و ارزیابی، روشهای کیفی و کمّی |
استفاده از تمام ظرفیتها و رویکردهای ارزیابی، نگاه واقعبینانه در خصوص شرکت ذینفعان و کاربران در کمیته |
Source: Alkin, 2012: 386.
در زمینه ارزیابی سیاستها و برنامههای توسعه کشور پژوهشهای مختلفی انجام شده است. این پژوهشها را به سه دسته میتوان تقسیم کرد:
دسته اول: پژوهشهایی که بهطور عام بحث ارزیابی و نظام ارزیابی سیاستها در ایران را بررسی کردهاند.
امامی میبدی و اشتریان (1391) با بهرهگیری از رهیافت نهادی ابتدا به صورتبندی «مدل نهادی» بهعنوان پایه مفهومی طراحی نظام ارزیابی سیاست پرداختند. مدل نهادی، چندرهیافتی و چندروشی است و چهار مؤلفه هدف ارزیابی، وظایف قانونی، ماهیت سیاست و ویژگیهای سازمانی را برای گزینش مدل ارزیابی ملاک قرار میدهد. بهاینترتیب در نظام ارزیابی سیاست پیشنهادی، معاونت برنامهریزی و نظارت راهبردی رئیسجمهور از مدلهای نظام اطلاعات مدیریت، پاسخگویی با تأکید بر پرداخت نتیجهگرا و حسابرسی سیستمهای اجتماعی، مرکز پژوهشهای مجلس از مدلهای تحلیل هزینه - فایده، تصمیم - نظری، هدفمحور، آزمایش و موردپژوهی، دیوان محاسبات کشور از مدل حسابرسی عملکرد و مجمع تشخیص مصلحت نظام از مدلهای پایش قانونی و نقد و خبرگی برای اجرای وظایف خود استفاده میکنند. همچنین نیاز به اخذ بازخورد از منابع غیردولتی و ضرورت تقویت نهادهای خصوصی برای ارزیابیهای مستقل و عمومی مورد توجه قرار میگیرد. در این نظام، مجمع تشخیص مصلحت نظام متولی ارزیابی سیاستهای کلی، معاونت برنامهریزی و نظارت راهبردی رئیسجمهور متولی ارزیابی سیاستهای اجرایی و عملیاتی و مجلس شورای اسلامی متولی ارزیابی سیاستهای تقنینی است.
امامی میبدی (1394) از دانش و تجارب جهانی برای بهبود ارزیابی سیاست استفاده کرده است. ایشان با بهکارگیری روش تحلیل مقایسهای کیفی و ترکیبی از دو روش هدفمند و اقتضایی، تجارب 9 کشور توسعهیافته و در حال توسعه در ارزیابی سیاست را بررسی و با واکاوی مشترکات میان آنها، اصول عام نظامهای ارزیابی سیاست را استخراج کرده است. این اصول عبارت اند از: وجود اراده سیاسی و تقاضای دیوانی برای انجام ارزیابی؛ ظرفیتسازی برای ارزیابی (قبل و هنگام پیادهسازی نظام ارزیابی)؛ پوشش معیارهای اثربخشی، کارایی و تأثیر در نظام ارزیابی؛ استفاده از شاخصهای عملکرد؛ اتخاذ سیاستهای تشویقی و تنبیهی نسبت به نتایج عملکرد؛ استفاده توأمان از ارزیابی درونی و بیرونی؛ وجود نهاد هماهنگکننده نظام ارزیابی؛ احساس مالکیت مجریان نسبت به یافتههای ارزیابی؛ انتشار عمومی گزارشهای ارزیابی؛ تکامل تدریجی دامنه ارزیابی و روشهای آن.
رضایی قادی و شیرخانی (1399) به بررسی و ارزیابی سیاستگذاری عمومی در ایران برمبنای نظریه حکمرانی خوب پرداختهاند. نتایج پژوهش نشان میدهد که نظام جمهوری اسلامی ایران در سیاستگذاری عمومی برمبنای شاخصههای حکمرانی خوب، چندان موفق نبوده و مشکلاتی در اجرای آن داشته است. درعینحال نباید از ظرفیتهایی مانند قانون اساسی، چشمانداز بیستساله و حتی برنامههای توسعه برای هدایت نظام سیاستگذاری به سمت برقراری الگوی حکمرانی خوب غافل شد؛ بهویژه آنکه با ابلاغ سیاستهای کلی نظام اداری و اقتصاد مقاومتی، رویهها و فرایندهای استراتژیک و راهبردی در جهت الگوی حکمرانی خوب طراحی شدهاند.
قرونه و همکاران (1396) با استفاده از روش دلفی و نظر خبرگان در رشتهها و حوزههای مختلف در ایران مدل پیشارزیابی سیاست برمبنای رویکرد آیندهمحوری طراحی کردهاند. این مدل به صورت علّی شامل 6 مرحله تعریف زمینه سیاستی، تعریف سناریوهای سیاستی ممکن و غربالگری، مدل منطقی سیاستهای محتمل، تحلیل اثر سیاستهای محتمل و مقایسه آنها، مشخص کردن شاخصها و سنجههای کلید پیشرفت و توصیه و تأمین خوراک اطلاعاتی سیاستگذاران و ذینفعان به منظور توسعه پاسخهای آینده است که دارای کارکردهای آگاهسازی، ابزار ارتباطی بین سیاستگذاران و ذینفعان و بهبود ظرفیتهای سیاستگذاری است. این امر به بهبود کیفیت سیاست و ارتقای همبستگی سیاستی منجر میشود.
اشتریان و امامی میبدی (1394) در چارچوب یک پژوهش تحلیلی - اکتشافی و با استفاده از روش نهادی تلاش کردهاند الگویی برای ساماندهی ارزیابی سیاستهای عمومی در نظام دیوانی - سیاسی ایران طراحی کنند. این الگو نگرش سیستمی و کلگرا داشته و با اقتباس از نظریه هاولت، رامش و آنتونی؛ سه حوزه معطوف به مردم و نهادهای مدنی، معطوف به تخلفات و معطوف به کمیت و کیفیت تحقق و نتایج سیاستها را از یکدیگر تفکیک میکند. آنان سپس در چارچوب قانون اساسی جمهوری اسلامی ایران به ساماندهی نهادهای کلان ذیربط در این سه حوزه پرداخته و نقشها و مسئولیتهای آنها را مشخص میکنند. الگوی پیشنهادی نظام ارزیابی سیاستهای عمومی برای ارزیابی سیاستهای کلی، تقنینی و عملیاتی (طرحها و برنامههای دولت) در سطح ملی را دربرمیگیرد. این نظام نوع گزارشهای ارزیابی و چارچوب زمانی گزارشگری آن، متولی، مجری و ناظر آنها، مدلها و روشهای انجام ارزیابی را پوشش میدهد.
دسته دوم: پژوهشهایی است که سیاستها و برنامههای پنجساله توسعه را مورد بررسی قرار دادهاند.
شقاقی شهری (1397) با تحلیل عملکرد برنامههای پنجساله توسعه ایران به ارزیابی تحقق اهداف کلان اقتصادی سند چشمانداز میپردازد. وی سیاستها، اهداف و عملکرد اقتصادی برنامههای توسعه بعد از انقلاب اسلامی را براساس محورهای 6گانه تولید و بهبود رفاه جامعه، شاخصهای پولی و کنترل تورم، اشتغالزایی و بهرهوری، توزیع درآمد و فقرزدایی، جهانی شدن اقتصاد و بخش تجارت خارجی و در نهایت اندازه و حضور دولت و بخش خصوصی در اقتصاد، از دو منظر تحلیل توصیفی و کیفی و تحلیل مقایسهای براساس تولید شاخصهای ترکیبی ارزیابی میکند. براساس نتایج به دست آمده از منظر جهتگیری به سمت تحقق اهداف اقتصادی سند چشمانداز، بیشترین همراستایی و بهترین عملکرد به ترتیب در برنامههای سوم توسعه (میانگین رتبه: 83/1)، برنامه اول توسعه (میانگین رتبه: 5/2)، برنامه دوم توسعه (میانگین رتبه: 33/3)، برنامه پنجم توسعه (میانگین رتبه: 5/3) و برنامه چهارم توسعه (میانگین رتبه: 83/3) وجود دارد.
زاهدی و نوایی لواسانی (1395) برنامه پنجم توسعه را با استفاده از تکنیک تحلیل محتوا، از لحاظ کاربست مفاهیم عدالت و رفاه اجتماعی تحلیل و ارزیابی کردند. همچنین آنان به بررسی جایگاه ایران در جهان از منظر شاخصهای رفاه سن، توسعه انسانی و لگاتوم پرداختند. ارزیابی سیاستگذاریهای رفاه در برنامههای توسعه و بهطور مشخص برنامه پنجم، مبین نبود نگرش سنجیده و هدفمند در زمینه تأمین عدالت رفاهی در مقیاس عمومی کشور است. با توجه به نگاه محیطی، موقعیتی و قابلیتمحور آمارتیاسن و با نگاه چندبعدی والزر به عدالت میتوان نبود نظریه عدالت اجتماعی مدون، منسجم و قابل اجرا در حوزه نظریه های ایرانی - اسلامی را ترمیم کرد.
دسته سوم: پژوهشهایی که یک حوزه خاص از سیاستها و برنامهها را مورد ارزیابی قرار دادهاند.
سیدنقوی و بابایی (1392) با استفاده از چارچوب دایاموند (الماس) مایکل پورتر، سیاستها و نگاه دولت به روستاها در ایران را بررسی کردهاند. برای این منظور با انجام پیمایشی از 31 نفر از خبرگان دانشگاهی و کارشناسان سطوح میانی، سیاستگذاری روستایی در سه نهاد دولتی کشور بررسی شده است که سیاستهای دولتی ایران، تا چه اندازه با دیدگاههای منطقهای مطابقت داشته است.
شیردلی و همکاران (1400) با استفاده از روش دلفی و از طریق طراحی پرسشنامه و اخذ نظر صاحبنظران، معیارهای مناسب برای اولویتبندی شاخصهای سیاستهای کلان بخش آب مشخص و وزن معیارها تعیین شد و همچنین با توجه به امکان دستیابی به اطلاعات و دادهها، امتیازدهی شد و با استفاده از فرایند تحلیل سلسلهمراتبی ارزشگذاری شدند. براساس اولویتبندی با روش تصمیمگیری چندمعیاره فازی، شاخصهای سرانه آب مصرفی، آب با درآمد، پایداری منابع آبی و درصد کاهش ضایعات محصولات با امتیازهای 100، 31/85، 47/80 و 02/80 به ترتیب رتبههای اول تا چهارم را در بین بیست شاخص اصلی جهت ارزیابی صنعت آب به خود اختصاص دادند. درحالیکه در فرایند تحلیل سلسلهمراتبی، شاخصهای پایداری آب زیرزمینی، مهار آبهای خروجی از مرزها، تجهیز اراضی به شبکههای مدرن اصلی و فرعی و سیستمهای نوین آبیاری با امتیازهای 100، 20/50، 42 و 89/23 به ترتیب شاخصهای برتر بودند.
خاندوزی، شهسواری و علمخواه (1395) پس از بررسی مهمترین احکام هر یک از برنامههای پنجگانه توسعه پس از انقلاب اسلامی در خصوص فقرزدایی، نشان میدهند عمدهترین ضعف حمایتهای دولت و نهادهای حمایتی، عدم بهکارگیری سازوکارهای توانمندساز مبتنیبر رویکرد قابلیت، برای حمایت از گروههای فقیر بوده است. همچنین حمایتهای انجام شده از سوی دولت و نهادهای حمایتی، مبتنیبر رویکرد رفاهی با هدف جبران محرومیتهای کوتاهمدت گروههای فقیر و آسیبپذیر، از طریق پرداختهای انتقالی و نقدی اجرا شده است. در واقع، رویکرد برنامهریزان برای تدوین سیاستهای حمایتی در طول برنامههای توسعه، فاقد هدفمندی در راستای افزایش قابلیت عبور از فقر و اصلاحات ساختاری متناسب با آن بوده است.
برای شناسایی و اولویتبندی چالشهای ارزیابی سیاستهای پنجساله توسعه در ایران، پژوهش حاضر در دو مرحله کیفی و کمّی انجام شده که در شکل 1 نشان داده شده است.
شکل 1. مراحل اجرایی انجام پژوهش
|
ارسال پرسشنامه به خبرگان این حوزه |
تحلیل نتایج پرسشنامه با استفاده از روش تحلیلسلسلهمراتبی |
|
پیشنهاد اولیه چالشهای ارزیابی سیاستهای پنجساله توسعه در ایران |
بررسی مطالعات کتابخانهای و پژوهشهای گذشته |
دستهبندی چالشهای شناسایی شده |
ارسال چالشهای شناسایی شده به خبرگان جهت دستیابی به اجماع درباره چالشها |
نهایی کردن دستهبندی چالشها و تدوین پرسشنامه |
در مرحله اول، از روش پژوهش کیفی استفاده شده است. این روش مبتنیبر کدگذاری دادههاست که در دو مرحله کدگذاری باز[5] و کدگذاری محوری[6] انجام میشود. کدگذاری باز به ایجاد کدهای اولیه منجر می شود. کدها، اجزای اصلی تحلیل هستند و در واقع «نام» یا «برچسبهایی» هستند که توسط پژوهشگر به قسمتی (یک جمله یا پاراگراف) از دادهها اطلاق میشوند و با سؤالهای پژوهش ارتباط دارند. مرحله کدگذاری محوری شامل دستهبندی کدهای مختلف در قالب مضمونهای بالقوه و مرتب کردن همه خلاصههای کدگذاری شده در قالب مضمون مشخص است. در واقع پژوهشگر، تحلیل کدهای خود را شروع کرده و کدهای مختلف را برای ایجاد یک مضمون کلی ترکیب میکند.
جامعه مورد مطالعه و شیوه جمعآوری دادهها در پژوهش حاضر، شامل مقالات علمی و گزارشهای رسمی منتشر شده در ایران است که با روش اسنادی گردآوری شده است. نتیجه جستجو نیز شامل 19 مقاله علمی و پژوهشی و 6 گزارش بوده که در کدگذاری دادهها و استخراج یافتهها مورد استفاده قرار گرفتهاند. نمونهگیری پژوهش حاضر از نوع هدفمند بوده است. «نمونهگیری هدفمند که نمونهگیری غیراحتمالی، هدفدار یا کیفی نیز نامیده میشود به معنای انتخاب هدفدار واحدهای پژوهش برای کسب اطلاعات یا دانش است» (رنجبر و همکاران، 1391: 238). معیار توقف نمونهگیری نیز دستیابی به اشباع تئوریک بود؛ به این معنا که در بررسی مطالعات بعدی به نقطه تکرار کدهای شناسایی شده دست یافتیم و در بررسی دادههای بیشتر، کد جدیدی به کدهای قبلی اضافه نشد.
«برای اعتبار یا روایی پژوهش کیفی هشت راهبرد پیشنهاد شده است که با رعایت دستکم دو مورد میتواند برای پژوهش، اعتبار قابل قبولی ایجاد کند (طباطبایی و همکاران، 1392: 666). در پژوهش حاضر دو راهبرد به کار گرفته شده است. درگیری طولانیمدت پژوهشگر با فضای پژوهشی و مشاهدههای مداوم با افراد موضوع پژوهش، فراگیری فرهنگ آن محیط و کنترل بدفهمیهای ناشی از مداخله پژوهشگر یا مطلعان، مثلثسازی از طریق گردآوری شواهد از منابع مختلف شامل تئوریهای گوناگون، پژوهشگرهای متعدد، منابع اطلاعاتی متنوع و شیوههای گوناگون. مثلثسازی به استفاده از منابع متعدد دادهها برای ترسیم نتایج، در مورد آنچه حقیقت را تشکیل میدهد، اشاره دارد» (همان). در این پژوهش از مثلثسازی منابع دادهها و مثلثسازی محقق برای کدگذاری دادهها، نامگذاری مفاهیم و دستهبندی مفاهیم استفاده شده است.
در مرحله دوم به روش کمّی از روش تحلیل سلسلهمراتبی[7] استفاده شده است. ابزار گردآوری دادهها در این مرحله، پرسشنامه مقایسه زوجی است. در مجموع پرسشنامهای با 18 چالش برای خبرگان این حوزه (دلیل انتخاب این گروه تسلط بیشتر این افراد با موضوع پژوهش با توجه به تجربه کاری و تخصص آنها بوده است) ارسال شد. نتایج تحلیل پرسشنامهها در قسمت یافتهها ارائه شده است.
یافتههای پژوهش در دو قسمت سازماندهی شده است: چالشهای شناسایی شده در مرحله پژوهش کیفی و رتبهبندی چالشهای شناسایی شده براساس روش پژوهش کمّی.
4-1. شناسایی چالشهای ارزیابی سیاستهای توسعه در ایران
منظور از چالشهای ارزیابی سیاستهای توسعه، چالشهایی است که در ادبیات پژوهشی این حوزه توسط پژوهشگران مختلف مطرح شده است. با بررسی ادبیات این حوزه، چالشها شناسایی شدند. در مقابل هر یک از چالشها، نمونه دادهای که کد مورد نظر از آن استخراج شده در جدول ذیل نشان داده شده است.
جدول 2. چالشهای ارزیابی سیاستهای توسعه در ایران
مفاهیم |
کد چالش |
نمونهداده |
عدم تعریف روشن از مفهوم توسعه |
G1 |
«در هیچ از برنامههای توسعه تعریف روشنی از مفهوم توسعه و اهداف و ویژگیهای آن بهعنوان هدف اصلی برنامه ارائه نشده است» (پژوهشنامه اقتصادی مرکز استراتژیک، 1385: 35). |
فقدان مکتب نظری مشخص در اقتصاد |
G2 |
هیچگونه نظریه، مکتب علمی خاص، الگوی نظری مشخص و کارشناسی در اقتصاد کشور حاکم نبوده است (عربمازار و نورمحمدی، 1395: 39). |
عدم همخوانی اهداف برنامه با تئوری اقتصادی |
G3 |
«چند مشکل مشترک این سالها مانع تحقق اهداف برنامهها توسعه شدهاندکه عدم همخوانی اهداف برنامه با تئوری اقتصادی است» (زنوز، 1384: 3). |
اهداف متناقض |
G4 |
مشکل ابهام و ازدیاد اهداف گاه متناقض را از دیدگاه تحلیل انتقادی میتوان ناشی از نبود تعریف صحیح و مورد اجماع اقتصاددانان و مسئولان سیاسی و اجرایی کشور از برنامههای توسعه و اهداف اقتصادی برنامههای توسعه دانست (عربمازار و نورمحمدی، 1395: 40). |
فقدان مقیاس سازهای کمّی و عدم تعریف دقیق و کلیگویی |
G5 |
«یکی از مهمترین آسیبهای برنامههای چهارم و پنجم توسعه فقدان مقیاسسازهای کمّی، تعاریف دقیق و عملیاتی و کلیگویی است» (ارغوانی پیرسلامی و غلامی، 1397: 15). |
عدم استفاده از شاخص در ارزیابی |
G6 |
برنامه پنجم توسعه از حیث شاخص کمّی که امکان نظارت بهتر و بیشتر را فراهم میکند، شاخصزدایی شده است (برادران نصری و همکاران، 1389: 19). |
نظارت غیرشفاف و بیموقع |
G7 |
«فرایند نظارت بر اجرای برنامه بسیار غیرشفاف، بیموقع و فاقد اثربخشی است. تأخیر طولانی متعارف در ارائه گزارش تفریغ بودجه توسط دیوان محاسبات و گزارش عملکرد برنامه توسط دولت باعث این امر شده است» (خاندوزی، 1389 :121). |
بیاعتمادی نهادهای نظارتی به گزارشهای دولتی |
G8 |
«بیاعتمادی نهادهای نظارتی به گزارشهای دولتی»یکی از چالشهای ارزیابی سیاستها در ایران ذکر شده است (اشتریان و امامی میبدی، 1393: 18). |
نظام آماری نامناسب |
G 9 |
فقدان نظام آماری در بخش بازخورد نیز شفافیت اطلاعات و نظام آماری دقیقی وجود ندارد (سجادی، 1396: 12). |
نبود اطلاعات و آمارهای جامع |
G10 |
«کامیابی برنامهریزی با هر هدف و الگویی، بدون دسترسی به اطلاعات فراگیر و جدید درباره وضع مجود و بدون ترسیم شاخصهای کمی وضع مطلوب تقریباً محال است» (خاندوزی، 1389: 116). |
ضعف گردش اطلاعات و مدیریت دانش در سازمانها |
G11 |
«یکی از عوامل بُعد مدیریتی و فنی که در عدم اجرای سیاستهای برنامه پنجم توسعه نقش داشتهاند ضعف گردش اطلاعات و مدیریت دانش در سازمانهاست» (اشتریان و همکاران، 1393: 14). |
عدم پایبندی دولت به ارائه به موقع گزارشهای ارزیابی |
G12 |
«عدم پایبندی دولت به ارائه به موقع گزارشهای ارزیابی» یکی از موانع ارزیابی سیاستها در ایران عنوان شده است (اشتریان و امامی میبدی، 1393: 18). |
بودجه محدود تحقیقات ارزیابی |
G13 |
تحقیقات ارزیابی درصد کمی از بودجه برنامه های توسعه را به خود اختصاص می دهد اگر ارزیابی به درستی صورت پذیرد و اطلاعات لازم در اختیار تصمیم گیران قرار گیرد و آنها از اطلاعات استفاده کنند باعث اصلاح برنامه ها و کاستن از هزینه ها می شود» (پناهی، 1372: 74). |
کمتوجهی به ارزیابی علمی برنامهها |
G14 |
«در سازمان برنامه و بودجه به ارزیابی علمی برنامهها و طرحها توجهی نشده است. در ساختار سازمانی آن نیز واحدی به آن اختصاص نیافته است. فقط یکی از وظایف متعدد معاونت امور اقتصادی این سازمان «ارزشیابی آثار و نتایج اقتصادی و اجتماعی برنامهها ...» ذکر شده است» (پناهی، 1372: 87). |
تلقی منفی از ارزیابی و مقاومت در برابر آن |
G15 |
«تلقی منفی از ارزیابی و مقاومت در برابر آن» یکی از چالشهای ارزیابی سیاستها در ایران ذکر شده است (اشتریان و امامی میبدی، 1393: 18). |
عدم درک کاربرد تحقیقات ارزیابی توسط سیاستگذاران |
G16 |
سیاستگذاران، کاربرد تحقیقات ارزیابی مؤثر را در تنظیم و اجرای طرحها به خوبی درک نکردهاند یا اینکه نگران هستند که چنین تحقیقاتی ممکن است موجب نقد و طرد طرح شود (پناهی، 1372: 91). |
نبود اراده لازم برای کاربست یافتههای ارزیابی |
G17 |
«نبود اراده لازم برای کاربست یافتههای ارزیابی» یکی از موانع ارزیابی سیاستها در ایران عنوان شده است (اشتریان و امامی میبدی، 1393: 18). |
روحیه عدم پاسخگویی و مسئولیتناپذیری |
G18 |
«روحیه عدم پاسخگویی و مسئولیتناپذیری» یکی از موانع ارزیابی سیاستها در ایران عنوان شده است (اشتریان و امامی میبدی، 1393: 18). |
مأخذ: یافتههای تحقیق.
4-2. رتبهبندی چالشهای ارزیابی سیاستهای توسعه در ایران
در این مرحله متناسب با چالشهای شناسایی شده در مرحله کیفی، پرسشنامه محققساخته شامل چالشهای ارزیابی سیاستهای توسعه در ایران در اختیار چهل نفر از خبرگان این حوزه قرار گرفت تا در قالب مقایسه زوجی، این چالشها را رتبهبندی کنند. از این تعداد، 36 پرسشنامه پاسخ داده شد. دو پرسشنامه نیز به دلیل اشتباه در پاسخگویی به سؤالات از مطالعه خارج شد که در نهایت 34 پرسشنامه مورد تجزیهوتحلیل قرار گرفتند.
1-2-4. آمار توصیفی پاسخدهندگان
در این قسمت برای آشنایی با تعداد پاسخدهندگان به پرسشنامه مقایسات زوجی از لحاظ سن، سابقه کار و تحصیلات به توصیف ویژگیهای جمعیتشناختی پاسخدهندگان پرداخته خواهد شد.
جدول 3. توزیع فراوانی مربوط به سن
سن |
فراوانی |
درصد فراوانی |
بین 30 تا 40 |
5 |
14.70 |
بین 41 تا 50 |
9 |
26.47 |
بالاتر از 50 |
20 |
58.82 |
بیشترین فراوانی پاسخدهندگان مربوط به گروه سنی بالاتر از 50 بوده که 58.82 درصد را تشکیل میدهند.
جدول 4. توزیع فراوانی مربوط به سابقه کار
سابقه خدمت |
فراوانی |
درصد فراوانی |
1 تا 5 سال |
6 |
17.64 |
6 تا 10 سال |
7 |
20.58 |
11 تا 15 سال |
13 |
38.23 |
16 تا 20 سال |
4 |
11.76 |
بالاتر از 20 سال |
4 |
11.76 |
38.23 درصد از پاسخدهندگان دارای سابقه کاری بین 11 تا 15 سال بودند.
جدول 5. توزیع فراوانی مربوط به تحصیلات
تحصیلات |
فراوانی |
درصد فراوانی |
کارشناسی ارشد |
3 |
8.83 |
دکتری |
31 |
91.17 |
91.17 درصد از پاسخدهندگان مدرک دکتری و 8.83 درصد مدرک کارشناسی ارشد داشتند.
4-2-2. رتبهبندی چالشها
در مراحل قبل چالشهای پژوهش معرفی شدند در این گام نیز برای تعیین اهمیت و وزن آنها از روش تحلیل سلسلهمراتبی استفاده میشود. ابتدا مقایسات زوجی چالشها ایجاد شد و در اختیار خبرگان قرار گرفت. تعداد خبرگان در این قسمت نیز 34 نفر بود. بعد از تکمیل ماتریسهای مقایسات زوجی، نرخ ناسازگاری هر کدام محاسبه شد که همگی کمتر از 1/0 بود که نشان از ثبات و سازگار بودن ماتریسهاست. مقایسات زوجی خبرگان، توسط روش میانگین هندسی ادغام شدند و جهت تعیین وزن، وارد نرمافزار Expert Choice شد.
در اولین بخش مقایسه زوجی بین هجده چالش براساس طیف 1 تا 9 توسط 34 خبره انجام گرفت. سپس مقایسات زوجی با روش میانگین هندسی ادغام شد. برای نرمالسازی مقایسات زوجی هر درایه را بر مجموع درایههای ستونش تقسیم میکنیم. ماتریس نرمال شده در جدول ذیل آمده است.
جدول 6. مقایسات نرمال
C1 |
C2 |
C3 |
C4 |
C5 |
C6 |
C7 |
C8 |
C9 |
C10 |
C11 |
C12 |
C13 |
C14 |
C15 |
C16 |
C17 |
C18 |
|
C1 |
0126/0 |
0036/0 |
0034/0 |
0050/0 |
0056/0 |
0087/0 |
0093/0 |
0407/0 |
0063/0 |
005/0 |
0043/0 |
0230/0 |
0106/0 |
0072/0 |
0228/0 |
0789/0 |
0174/0 |
0275/0 |
C2 |
0590/0 |
0167/0 |
0728/0 |
0188/0 |
0122/0 |
0168/0 |
0389/0 |
0096/0 |
0103/0 |
0081/0 |
0080/0 |
0078/0 |
0114/0 |
0078/0 |
0240/0 |
0721/0 |
0180/0 |
027/0 |
C3 |
0577/0 |
0035/0 |
0154/0 |
0133/0 |
0118/0 |
0137/0 |
0203/0 |
0097/0 |
0099/0 |
0084/0 |
0075/0 |
0081/0 |
0119/0 |
0084/0 |
0223/0 |
0544/0 |
0212/0 |
0263/0 |
C4 |
0416/0 |
0147/0 |
0190/0 |
0165/0 |
0147/0 |
0120/0 |
0167/0 |
0097/0 |
0090/0 |
0084/0 |
0064/0 |
0080/0 |
0144/0 |
0094/0 |
0272/0 |
0439/0 |
0200/0 |
0281/0 |
C5 |
0522/0 |
03317/0 |
0301/0 |
0259/0 |
0231/0 |
0265/0 |
0235/0 |
0141/0 |
0094/0 |
0087/0 |
0057/0 |
0295/0 |
0151/0 |
0112/0 |
0417/0 |
0574/0 |
0392/0 |
0448/0 |
C6 |
0547/0 |
0376/0 |
0425/0 |
0517/0 |
0328/0 |
0377/0 |
0170/0 |
0322/0 |
0264/0 |
0371/0 |
0280/0 |
0511/0 |
0216/0 |
0112/0 |
0360/0 |
0575/0 |
0807/0 |
0574/0 |
C7 |
0422/0 |
0134/0 |
0237/0 |
0309/0 |
0306/0 |
0693/0 |
0313/0 |
0243/0 |
0220/0 |
0176/0 |
0188/0 |
0301/0 |
0196/0 |
0133/0 |
0795/0 |
0283/0 |
0387/0 |
0388/0 |
C8 |
0139/0 |
0785/0 |
0715/0 |
0764/0 |
0739/0 |
0528/0 |
0580/0 |
0451/0 |
1430/0 |
0688/0 |
0311/0 |
0454/0 |
0260/0 |
0237/0 |
0437/0 |
0304/0 |
0435/0 |
0477/0 |
C9 |
0879/0 |
0715/0 |
0686/0 |
0805/0 |
01083/0 |
0630/0 |
0625/0 |
0142/0 |
0441/0 |
0372/0 |
0242/0 |
0337/0 |
0357/0 |
0250/0 |
0429/0 |
0456/0 |
0565/0 |
0499/0 |
C10 |
0879/0 |
0789/0 |
0695/0 |
0753/0 |
1007/0 |
0388/0 |
0676/0 |
0250/0 |
0453/0 |
0382/0 |
0262/0 |
0282/0 |
0274/0 |
0267/0 |
0298/0 |
0233/0 |
0340/0 |
0566/0 |
C11 |
0822/0 |
0591/0 |
0580/0 |
0730/0 |
1148/0 |
0381/0 |
0469/0 |
0409/0 |
0514/0 |
0411/0 |
0283/0 |
0193/0 |
0239/0 |
0151/0 |
0229/0 |
0159/0 |
0242/0 |
0232/0 |
C12 |
0266/0 |
1045/0 |
0926/0 |
1006/0 |
0380/0 |
0359/0 |
0505/0 |
0483/0 |
0637/0 |
0659/0 |
0713/0 |
0487/0 |
0356/0 |
0205/0 |
0394/0 |
0451/0 |
0426/0 |
0598/0 |
C13 |
0827/0 |
1020/0 |
0899/0 |
0801/0 |
1068/0 |
01220/0 |
1112/0 |
1209/0 |
0863/0 |
0972/0 |
0826/0 |
0954/0 |
0698/0 |
0650/0 |
1353/0 |
0412/0 |
0412/0 |
0365/0 |
C14 |
0867/0 |
1072/0 |
0909/0 |
0877/0 |
1030/0 |
1676/0 |
1175/0 |
0952/0 |
0882/0 |
0715/0 |
0935/0 |
1187/0 |
0537/0 |
0500/0 |
0282/0 |
0262/0 |
0262/0 |
0370/0 |
C15 |
0554/0 |
0700/0 |
0692/0 |
0609/0 |
0556/0 |
1053/0 |
0395/0 |
1037/0 |
1033/0 |
1290/0 |
1239/0 |
1241/0 |
0518/0 |
1786/0 |
1005/0 |
0835/0 |
0835/0 |
1227/0 |
C16 |
0135/0 |
0196/0 |
0239/0 |
0318/0 |
0340/0 |
0555/0 |
0933/0 |
1253/0 |
0818/0 |
1383/0 |
1503/0 |
0911/0 |
1433/0 |
1613/0 |
1018/0 |
0845/0 |
0845/0 |
0810/0 |
C17 |
0885/0 |
1138/0 |
0888/0 |
1012/0 |
0723/0 |
0574/0 |
0992/0 |
1274/0 |
0959/0 |
1378/0 |
1434/0 |
1402/0 |
1988/0 |
2032/0 |
1033/0 |
0863/0 |
0863/0 |
1150/0 |
C18 |
0549/0 |
0737/0 |
0702/0 |
0705/0 |
0618/0 |
0789/0 |
0968/0 |
1136/0 |
1063/0 |
0811/0 |
1464/0 |
0977/0 |
2295/0 |
1632/0 |
0985/0 |
1254/0 |
1254/0 |
1202/0 |
مأخذ: همان.
4-2-3. محاسبه وزن
برای محاسبه وزن کافی است از درایههای جدول 6 به صورت سطری میانگین حسابی گرفته شود تا وزن چالشها حاصل شود. نتیجه در جدول 7 آورده شده است.
جدول 7. وزن و رتبه چالشها
عنوان چالش |
کد |
وزن |
رتبه |
عدم تعریف روشن از مفهوم توسعه |
C1 |
0162/0 |
18 |
فقدان مکتب نظری مشخص در اقتصاد |
C2 |
0244/0 |
15 |
عدم همخوانی اهداف برنامه با تئوری اقتصادی |
C3 |
0180/0 |
16 |
اهداف متناقض |
C4 |
0178/0 |
17 |
فقدان مقیاس سازهای کمّی و عدم تعریف دقیق و کلیگویی |
C5 |
0272/0 |
14 |
عدم استفاده از شاخص در ارزیابی |
C6 |
0396/0 |
12 |
نظارت غیرشفاف و بیموقع |
C7 |
0318/0 |
13 |
بیاعتمادی نهادهای نظارتی به گزارشهای دولتی |
C8 |
0529/0 |
8 |
نظام آماری نامناسب |
C9 |
0528/0 |
9 |
نبود اطلاعات و آمارهای جامع |
C10 |
0489/0 |
10 |
ضعف گردش اطلاعات و مدیریت دانش در سازمانها |
C11 |
0432/0 |
11 |
عدم پایبندی دولت به ارائه به موقع گزارشهای ارزیابی |
C12 |
0550/0 |
7 |
بودجه محدود تحقیقات ارزیابی |
C13 |
0871/0 |
4 |
کمتوجهی به ارزیابی علمی برنامهها |
C14 |
0807/0 |
6 |
تلقی منفی از ارزیابی و مقاومت در برابر آن |
C15 |
0942/0 |
3 |
عدم درک کاربرد تحقیقات ارزیابی توسط سیاستگذاران |
C16 |
0861/0 |
5 |
نبود اراده لازم برای کاربست یافتههای ارزیابی |
C17 |
1164/0 |
1 |
روحیه عدم پاسخگویی و مسئولیتناپذیری |
C18 |
1064/0 |
2 |
مأخذ: همان.
4-2-4. اعتبارسنجی نتایج با نرمافزار
برای بررسی اعتبار نتایج از نرمافزار اکسپرت چویس استفاده شده است. ابتدا مقایسات زوجی وارد نرمافزار میشود و سپس وزن چالشها محاسبه میشود که در نمودار 1 آمده است. بر این اساس وزن چالشها کاملاً همراستا با وزن محاسبه شده در اکسل است اختلاف جزئی که بین وزنهاست به دلیل الگوریتم متفاوت محاسبه وزن است؛ زیرا در اکسل از الگوریتم میانگین حسابی و در نرمافزار از الگوریتم بردار ویژه برای محاسبه وزن استفاده شده است اما رتبهها همواره یکسان است.
نمودار 1. خروجی وزن چالشها از نرمافزار اکسپرت چویس
بهاینترتیب «نبود اراده لازم برای کاربست یافتههای ارزیابی» با وزن 1164/0 رتبه اول چالشهای ارزیابی سیاستهای توسعه در ایران را کسب کرده است. «روحیه عدم پاسخگویی و مسئولیتناپذیری» با وزن 1064/0رتبه دوم و «تلقی منفی از ارزیابی و مقاومت در برابر آن» با وزن 0942/0 رتبه سوم را کسب کرده است.
در انتهای فهرست رتبهبندی نیز چالش «عدم همخوانی اهداف برنامه با تئوری اقتصادی» با وزن0180/0 در رتبه شانزدهم، «اهداف متناقض» با وزن 0178/0 در رتبه هفدهم و «عدم تعریف روشن از مفهوم توسعه» با وزن 0162/0 در رتبه هجدهم قرار گرفته است.
پژوهش حاضر به دنبال شناسایی و رتبهبندی چالشهای ارزیابی سیاستهای توسعه در ایران است که برای شناسایی آن از روش پژوهش کیفی استفاده شده است. در این مرحله، روش نمونهگیری از دادهها، هدفمند بوده است. براساس نتایج این مرحله چالشهای ارزیابی سیاستهای توسعه در ایران شامل هجده چالش بوده است. بهکارگیری منابع متعدد از ادبیات این حوزه و تکرار کدگذاری دادهها، موجب ارائه چنین تصویری از چالشهای ارزیابی سیاست های توسعه در ایران شده است. در مرحله دوم به روش کمّی با استفاده از روش تحلیل سلسلهمراتبی، این هجده چالش شناسایی و رتبهبندی شدهاند.
یافتههای پژوهش نشان میدهد که چالشهای مختلفی در ارزیابی سیاستهای توسعه در ایران وجود دارد. رتبهبندی چالشها گویای این است که چالشهایی که مرتبط با فرهنگ ارزیابی سیاستها هستند از نظر خبرگان شرکتکننده در پژوهش، از اولویت و اهمیت بیشتری برخوردارند. این چالشها بیانگر نگرش، رفتار و عملکرد سیاستگذاران درباره سیاستهای توسعه هستند. بهعنوان مثال سه چالش اول در این رتبهبندی به ترتیب «نبود اراده لازم برای کاربست یافتههای ارزیابی» با وزن 11641/0، «روحیه عدم پاسخگویی و مسئولیتناپذیری» با وزن 1064/0 و «تلقی منفی از ارزیابی و مقاومت در برابر آن» با وزن 0942/0 به نوعی مرتبط با استفاده از نتایج ارزیابی سیاستها و نوع مواجهه سیاستگذاران و برنامهریزان با مقوله ارزیابی است.
چالشهای رتبه چهارم تا ششم به ترتیب شامل «بودجه محدود تحقیقات ارزیابی»، «عدم درک کاربرد تحقیقات ارزیابی توسط سیاستگذاران» و «کمتوجهی به ارزیابی علمی برنامهها» نیز مرتبط با فرهنگ ارزیابی هستند. علاوهبر این بیانگر اهمیت رویکرد علمی در ارزیابی سیاستهای توسعه در ایران هستند. چالشهای رتبه هفتم و هشتم مرتبط با عملکرد دستگاههای دولتی وارتباط آنها با نهادهای نظارتی است. چالشهای رتبه نهم تا چهاردهم بیانگر مسائل فنی و اطلاعاتی حوزه ارزیابی سیاستهای توسعه در ایران است. از رتبهبندی چالشهای ارزیابی سیاستهای توسعه در ایران میتوان نتیجه گرفت که چالشهای مرتبط با فرهنگ ارزیابی سیاستهای توسعه نسبت به چالش های مرتبط با مسائل فنی و اطلاعاتی ارزیابی سیاستها از اهمیت بیشتری برخوردار است.
برای رفع چالشهای بررسی شده در پژوهش حاضر پیشنهادهای زیر مطرح میشود:
- نهادینهسازی فرهنگ ارزیابی سیاستها و پذیرش نتایج پژوهشهای علمی حوزه ارزیابی سیاستهای توسعه؛
- تقویت ارتباط سازمانهای اجرایی و نهادهای نظارتی با هدف تقویت فرایند ارزیابی سیاستهای توسعه؛
- تدوین و تنظیم سیاستهای توسعه مبتنیبر اهداف مشخص و شاخصسازی دقیق محتوای سیاستهای توسعه با هدف امکانپذیری ارزیابی دقیق سیاستها؛
- تقویت و گسترش نظامهای آماری مرتبط با سیاستهای توسعه و افزایش قابلیت دسترسی و اعتماد به دادههای آماری.