شناسایی و رتبه‌بندی چالش‌های ارزیابی سیاست‌های توسعه در ایران (برنامه‌های پنج‌ساله توسعه)

نوع مقاله : مقاله پژوهشی

نویسنده

دانشیار سیاستگذاری عمومی گروه علوم سیاسی، دانشکده حقوق و الهیات دانشگاه شهید باهنر کرمان، کرمان، ایران.

چکیده

هدف پژوهش حاضر، شناسایی و رتبه‌بندی چالش‌های ارزیابی سیاست‌های توسعه در ایران است. برای دستیابی به این هدف در دو مرحله از روش کیفی و کمّی استفاده شده است. در مرحله اول چالش‌های ارزیابی با استفاده از روش کدگذاری کیفی و بر‌اساس پژوهش‌ها و گزارش‌های موجود شناسایی شدند و در مرحله دوم به روش کمّی با استفاده از روش تحلیل سلسله‌مراتبی رتبه‌بندی شدند. در این مرحله، ابزار گردآوری داده‌ها، پرسش‌نامه مقایسه زوجی شامل هجده چالش بود که برای رتبه‌بندی در اختیار خبرگان اجرایی و دانشگاهی این حوزه قرار گرفت. در مجموع 34 پرسش‌نامه مورد تجزیه‌و‌تحلیل قرار گرفت. یافته‌های پژوهش نشان می‌دهد «نبود اراده لازم برای کاربست یافته‌های ارزیابی» با وزن‌ 0/11641، «روحیه عدم پاسخگویی و مسئولیت‌ناپذیر» با وزن 0/1064 و «تلقی منفی از ارزیابی و مقاومت در برابر آن» با وزن 0/0942 که مرتبط با فرهنگ ارزیابی سیاست‌های توسعه هستند نسبت به چالش‌های مرتبط با مسائل فنی و اطلاعاتی از اهمیت بیشتری برخوردارند.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Identifying and ranking the challenges of evaluating development policies in Iran (five-year development plans)

نویسنده [English]

  • Yahya Kamali
Associate Professor of Public Policy, Department of Political Science, Faculty of Law and Theology, Shahid Bahonar University of Kerman, Kerman, Iran.
چکیده [English]

The aim of the research is to identify and rank the challenges of evaluating development policies in Iran. To achieve this goal, qualitative and quantitative methods have been applied in two stages. In the first stage, evaluation challenges were identified based on the qualitative coding method and existing research and reports, and in the second stage, they were ranked quantitatively by the hierarchical analysis method. At this stage, the data collection tool was a paired comparison questionnaire containing eighteen challenges, which was given to executive and academic experts in this field for ranking. A total of 34 questionnaires were analyzed. The research findings demonstrated "lack of will required to apply the evaluation findings" with a weight of 0.11641, "spirit of non-responsibility and irresponsibility" with a weight of 0.1064, and "negative perception of evaluation and resistance to it" with a weight of 0.0942, which are related to the culture of evaluating development policies, are more vital than the challenges related to technical and informational issues.

کلیدواژه‌ها [English]

  • Evaluation
  • Development
  • Politics
  • Five-year Plans

مقدمه

ارزیابی، محور قضاوت درباره موفقیت یا شکست سیاست‌های عمومی و یکی از چالش‌برانگیزترین مراحل سیاستگذاری است. هاولت، رامش و آنتونی با اشاره به اینکه ارزیابی سیاست فراتر از چیزی است که اغلب در متون از آن یاد می‌شود، تعاریف تخصصی و روزمره را با یکدیگر ترکیب کرده‌اند. آنها ارزیابی را به سه مقوله اداری، قضایی و سیاسی تقسیم می‌کنند. ارزیابی اداری، جریان مسلط در ادبیات ارزیابی است که به مسائلی چون کارایی، اثربخشی، فرایند و عملکرد سیاستگذاری می‌پردازد. ارزیابی قضایی به انطباق سیاست‌ها با قوانین و مقررات عام و در رأس آن قانون اساسی توجه دارد. ارزیابی سیاسی از قضاوت شهروندان درباره سیاست‌ها تا مشورت با اعضای زیر نظام سیاسی درباره مزایا و معایب آن سیاست‌ها نوسان دارد (هاولت، رامش و آنتونی، 1399: 273). سیمونز نیز ارزیابی را به سه دسته بوروکراتیک (معطوف به گسترش قدرت مدیریتی)، اتوکراتیک (معطوف به تداوم مشروعیت علمی) و دمکراتیک (معطوف به خدمت اجتماع) تقسیم می‌کند. پاول در ارزیابی سیاست‌ها دو نوع ذاتی و عرضی را از یکدیگر متمایز می‌کند و مورتاگ ارزیابی را در دو گروه کلی ابزاری و تفسیری قرار می‌دهد (Taylor, 2006: 51-60). هانسن نیز یک مدل ارزیابی 6‌طبقه‌ای ارائه کرده که شامل مدل فرایندی، اقتصادی، نظریه برنامه،[1] نتیجه‌ای، سامانه‌ای و کنشگر است (Hansen, 2005: 365).

بررسی ادبیات ارزیابی سیاست‌های عمومی گویای تنوع و تعدد روش‌ها و مدل‌های ارزیابی است. به‌رغم رشد فزاینده تحقیقات ارزیابی از دهه 1960 در سطح جهان و نهادینه شدن فرایند ارزیابی سیاست‌های عمومی در قالب سازمان‌ها و مؤسسات دولتی و غیردولتی، هنوز یک سنت قوی مطالعاتی درباره ارزیابی سیاست در ایران شکل نگرفته است. سازمان‌های مشخصی به صورت تخصصی برای ارزیابی سیاست‌های عمومی وجود ندارد و احزاب و گروه‌های سیاسی یا سازمان‌های مستقل غیردولتی نیز ارزیابی سیاست‌های عمومی را به صورت منظم و حرفه‌ای دنبال نمی‌کنند. ارزیابی سیاست‌های عمومی در ایران بازیگران مختلفی دارد از جمله مجمع تشخیص مصلحت نظام، مجلس شورای اسلامی، دیوان محاسبات، سازمان حسابرسی، سازمان بازرسی کل کشور، دیوان عدالت اداری و سازمان برنامه و بودجه.

‌برنامه‌های پنج‌ساله توسعه به‌عنوان مهمترین قالب سیاستگذاری توسعه توسط سازمان برنامه و بودجه تدوین شده و در نهایت به تصویب مجلس شورای اسلامی می‌رسد و به صورت قانون تبدیل به اسناد بالادستی توسعه می‌شود. تاکنون 6 برنامه توسعه تدوین و اجرا شده است. آنچه که مربوط به ارزیابی برنامه‌های توسعه پنج‌ساله کشور است، در سازمان برنامه و بودجه انجام می‌شود. برنامه‌های توسعه با سرمایه‌گذاری کلان جامعه و صرف امکانات تدوین و اجرا می‌شوند، در نتیجه پیگیری و بررسی تحقق یا عدم تحقق اهداف برنامه‌ها و دلایل آن از خواسته‌های عمومی است. در این راستا یکی از وظایف سازمان برنامه و بودجه «نظارت مستمر بر اجرای برنامه‌ها و پیشرفت سالیانه آنها» عنوان شده است و در این زمینه گزارش‌های اقتصادی سالیانه این سازمان منتشر می‌شود. برنامه‌های پنج‌ساله توسط پژوهشگران رشته‌های علمی مختلف و با رویکردها و روش‌های مختلف مورد بررسی قرار گرفته‌اند که در قسمت پیشینه پژوهش به آن اشاره شده است. در این پژوهش‌ها، آسیب‌ها و چالش‌های برنامه‌های پنج‌ساله توسعه از زوایای گوناگون بررسی شده است. با توجه به اهمیت مرحله ارزیابی سیاست‌ها و کارکردهای مهم آن در تحقق برنامه‌های توسعه، هدف پژوهش حاضر، شناسایی و رتبه‌بندی چالش‌های ارزیابی سیاست‌های توسعه است. برای دستیابی به این هدف در دو مرحله از روش کیفی و کمّی استفاده شده است.

  1. مبانی نظری

مفهوم ارزیابی با عناوین سنجش و ارزشیابی نیز آورده شده است در محدودترین حالت به بررسی و قضاوت درباره نتایج و میزان موفقیت برنامه‌های در حال اجرا و اجرا شده، از حیث رسیدن به اهداف از پیش تعیین شده گفته می‌شود (The Social Science Encyclopedia, 2004). ارزیابی سیاست، فرایندی است که به صورت نظام‌مند و هدف‌دار، ارتباط کارایی و اثربخشی یک برنامه یا فعالیت با توجه به اهداف آن تعیین می‌شود. از طرفی ارزیابی سیاست یا برنامه، به‌کارگیری روش‌های نظام‌مند برای پاسخگویی به سؤالاتی درباره اجرای برنامه و نتایج آن شامل پایش همزمان برنامه به همراه مطالعات مقطعی و دوره‌ای فرایند و آثار برنامه است.

ارزیابی سیاست از نظر ماهیت، حداقل چند‌رشته‌ای و میان‌رشته‌ای است: کار ارزیابی نیاز به تیم‌هایی دارد که اعضای آن دیدگاه‌ها و مهارت‌های متمایزی دارند تا بتوانند نقش‌های مختلف مورد نیاز در یک پروژه معین را برعهده گیرند. همچنین زمینه‌های سیاستی بیانگر آن است که ارزیابی به‌طور ایدئال یک کار فرارشته‌ای است. هر یک از رشته‌های در خدمت دانش برای اطلاع‌رسانی برنامه و بهبود سیاست‌ها، ممکن است ارزش خاص خود را داشته باشند، اما این رشته‌ها باید پاسخگوی خواسته‌های دانش ارزیابی باشد. ارزیابی سیاست مجموعه‌ای منظم از اطلاعات در مورد فعالیت‌ها، ویژگی‌ها و نتایج برنامه‌ها برای قضاوت درباره برنامه، بهبود اثربخشی و یا آگاه کردن تصمیمات درباره برنامه‌های آینده است. این تعریف به‌طور مستقیم درباره سه ویژگی تعیین‌کننده ارزیابی بحث می‌کند: استفاده از جمع‌آوری نظام‌مند داده‌ها (روش‌ها)، نقش اصلی قضاوت درباره برنامه‌ها و خط‌مشی‌ها (ارزشگذاری)‌ و آگاه کردن تصمیم‌گیری (کاربرد)، سه سازوکار منطق اساسی استفاده از ارزیابی برای برنامه‌های اجتماعی را تشکیل داده‌اند:

الف) ایجاد تغییرات برنامه،

ب) انتخاب گزینه‌ای که مشکل را بیشتر کاهش دهد (ارزیابی نتیجه چندگانه)،

ج) حفظ دانش در مورد برنامه‌های مؤثر (Lemire, Peck and Porowski).

ادبیات ارزیابی دو محور اصلی دارد:1) ارزیابی سازمان‌ها و مؤسسه‌ها، 2) ارزیابی طرح‌ها (پروژه‌ها)، برنامه‌ها و سیاست‌ها. صرف‌نظر از ارزیابی طرح‌ها که سطح خُرد محسوب شده و معمولاً در مدیریت پروژه به آنها پرداخته می‌شود، ارزیابی برنامه و سیاست برای مداخله‌های سیاستی وسیع به کار می‌روند. البته ارزیابی برنامه و سیاست ناگزیر ارزیابی طرح را نیز در‌بر‌می‌گیرد. مطالعات‌ پیرامون ارزیابی سیاست از ارزیابی برنامه قابل تفکیک نیست. گرچه برخی نویسندگان بر پیچیدگی و وسعت ارزیابی سیاست نسبت به ارزیابی برنامه تأکیدکرده‌اند اما آنها نیز از روش‌ها و مدل‌های رایج استفاده می‌کنند (امامی میبدی و اشتریان، 1391: 11-10).

ارزیابی سیاست به دنبال آگاه‌سازی تصمیم‌گیرندگان با پیش‌بینی و ارزیابی تأثیرات احتمالی گزینه‌های سیاستی است. آخرین نکته مفهوم ارزیابی است، یعنی از سطح پروژه و یا برنامه به سطح سیاست؛ این ارزیابی تا حدی ناشی از انتقاداتی است که ارزیابی سطح پروژه و برنامه، یعنی ارزیابی تأثیرات محیطی[2] و ارزیابی استراتژیک محیطی،[3] به اندازه کافی در چرخه سیاست دیده نمی‌شود. ارزیابی سیاست از مراحل استاندارد مشابه ارزیابی تأثیرات محیطی و ارزیابی استراتژیک محیطی (یعنی شناسایی مشکل، تعیین اهداف، شناسایی گزینه‌های سیاست، تجزیه‌و‌تحلیل اثرات و ...) استفاده می‌کند که اغلب در بخش‌های دولت مرکزی یا وزارتخانه‌ها برای سیاست‌های سطح ملی استفاده می‌شود (Adelle and Weiland, 2012).

از میان نظرهای اندیشمندان سیاستگذاری، مفهومی فراتر نمایان می‌شود، به‌گونه‌ای که ارزیابی در تمام مراحل سیاست حضور و بروز دارد. ارزیابی سیاست را با توجه به مراحل زمانی مورد بررسی در چرخه سیاستگذاری به سه دسته عمده تقسیم کرده‌اند:

الف) ارزیابی آینده‌نگر یا پیشینی: در زمان تدوین سیاست انجام شده و طی آن عقلانیت و دلایل توجیهی سیاست یا برنامه بررسی می‌شود. در این ارزیابی، روش کار و الگوی منطقی انجام فعالیت‌های سیاستی برای حصول نتایج ترسیم شده و زمان و میزان تحقق نتایج سیاست‌ها برآورد می‌شود.

ب) ارزیابی حین اجرا: طی عمر اجرایی یک سیاست و به‌طور مستمر و مرحله‌ای انجام می‌شود تا با اعلام هشدار سریع به مجریان، اصلاحات لازم حین اجرای سیاست، انجام گیرد.

ج) ارزیابی گذشته‌نگر یا پسینی: پس از اتمام اجرای سیاست انجام شده و خروجی‌های بلافصل، پیامدها و آثار سیاست را بررسی می‌کند و درخصوص کارآمدی سیاست در تحقق اهداف قضاوت انجام می‌دهد (واعظی و محمدی، 1396).

سه نوع اصلی ارزیابی که هر یک بر مرحله متفاوتی از روند سیاست متمرکزند عبارتند از:

ارزیابی محتوای سیاست: آیا محتوا به وضوح اهداف سیاست، اجرای آن و منطق اساسی را توضیح می‌دهد که چرا این سیاست تغییرات مورد نظر را ایجاد می‌کند؟ ارزیابی توسعه یک سیاست به درک زمینه، محتوا و اجرا کمک می‌کند.

ارزیابی اجرای سیاست: آیا این سیاست مطابق هدف اجرا شد؟ اجرای یک سیاست مؤلفه‌ای مهم در درک اثربخشی آن است. ارزیابی اجرای سیاست‌ها می‌تواند اطلاعات مهمی را در مورد موانع و تسهیل‌کنندگان اجرا و مقایسه بین اجزای مختلف یا شدت اجرا ارائه دهد.

ارزیابی اثر سیاست: آیا این سیاست نتایج و آثار مورد نظر را به همراه داشت؟ در زمینه پیشگیری از آسیب، تأثیر مورد نظر ممکن است کاهش صدمات یا شدت جراحات باشد. با‌این‌حال، ارزیابی نتایج کوتاه‌مدت و متوسط نیز مهم است (Athey, and Imbens, 2017).

ارزیابی سیاست را می‌توان به سه گروه دسته‌بندی کرد که عبارتند از: اداری، قضایی و سیاسی که این دسته‌بندی به شیوه اجرا و مدیریت، بازیگران مشمول و نوع کار آنها بر‌می‌گردد (هاولت، رامش و آنتونی، 1395: 329).

 

ارزیابی اداری

این نوع ارزیابی‌ معمولاً در درون دولت و به وسیله مؤسسات تخصصی ویژه‌ای انجام می‌شود که تنها وظیفه آنها، ارزیابی سیاست‌هاست. البته غالب این نوع ارزیابی‌ها توسط ناظران مالی، حقوقی و سیاسی وابسته به سازمان‌های دولتی، مؤسسات اجرایی تخصصی، قوای قانونگذاری و قضائیه انجام می‌شود. در ارزیابی اداری معمولاً اما نه همیشه، بررسی کارایی ارائه خدمات مدنظر بوده است. منظور این است که مطمئن شویم سیاست‌ها با صرف کمترین منابع و تحمیل کمترین هزینه به شهروندان، به هدف‌های مورد نظر دست یافته باشند. این اشتیاق به کارایی، الهام‌بخش نظام‌های ارزیابی رسمی بوده است. از جمله بررسی عملکردهای مدیریتی، بررسی‌های پرسنلی، حسابرسی‌های سالیانه و ایجاد نظام‌های بودجه‌بندی که می‌کوشند نسبت به شیوه‌های اداری سنتی، سازگاری بهتری بین هدف‌ها و هزینه‌ها برقرار کنند. ارزیابی اداری مستلزم جمع‌آوری اطلاعات دقیق (شواهد) از بازدهی برنامه‌ها و انطباق آنها با استانداردهاست به شیوه‌ای که امکان مقایسه دقیق هزینه‌ها و نتایج حاصل در طول زمان و بخش‌های سیاستگذاری فراهم آید. چنین کاری کاملاً فنی و به شدت تفصیلی است. اگر‌چه افزایش پیچیدگی لزوماً به معنای افزایش سودمندی نیست (همان: 330). ارزیابی‌های اداری به شکل‌های مختلف انجام می‌شوند که از نظر سطح تفصیل و رسمیت با یکدیگر متفاوت‌اند. در مواردی که سازمان‌های حکومت یا «سازمان‌های بی‌طرف» خارج از حکومت عهده‌دار انجام کار هستند. این ارزیابی‌ها عموماً به پنج نوع متفاوت تقسیم می‌شوند: فرایند، تلاش، عملکرد، کارایی و اثربخشی (همان).

 

ارزیابی قضایی

دومین نوع عمده ارزیابی سیاست به جنبه‌های موضوعات قانونی مربوط به شیوه اجرای برنامه‌های حکومت می‌پردازد. این ارزیابی‌ها به وسیله نیروهای قضایی انجام می‌شود و به نگرانی‌های ناشی از امکان به وجود آمدن تعارض بین اقدامات حکومت و اصول قانون اساسی یا استانداردهای موضوعه برای اداره امور با حقوق افراد می‌پردازد.

از قوه قضائیه انتظار می‌رود اقدامات دولت را رأساً یا به درخواست افراد یا سازمان‌هایی که نسبت به عملکرد مؤسسات دولتی معترض هستند و دادخواست خود را به مراجع قضایی تسلیم کرده‌اند، مورد رسیدگی قرار دهد. زمینه‌های ارزیابی قضایی در کشورها متفاوت است، ولی همیشه به بررسی دقیق حقوق ‌اساسی سیاست‌‌های در جریان اجرا معطوف است، یا اینکه تدوین و اجرای آنها، اصول حقوق طبیعی و یا عدالت را در جوامع مردم‌سالار یا آموزه‌های دینی یا ایدئولوژیک در سایر کشورها را نقض نکرده باشند. ارزیابی‌ قضایی متوجه عواملی است که سیاست با توجه به آنها تدوین و به شیوه‌ای غیرخودسرانه و مطابق با اصول قابل تعقیب قضایی و قوانین اداری، تصویب و به اجرا درآمده باشد (همان: 335).

 

ارزیابی سیاسی

ارزیابی سیاسی سیاست‌های حکومت می‌تواند از جانب هر کسی و یا هر نفعی در عرصه سیاسی انجام شود. ارزیابی‌های سیاسی برخلاف ارزیابی‌های اداری و قضایی معمولاً نه نظام‌مند است و نه از نظر فنی مفصل، در واقع، بسیاری از آنها ذاتاً جانبدارانه و یک‌سویه هستند. ارزیابی‌های سیاسی جانبدارانه اغلب فقط سعی می‌کنند با زدن برچسب‌های موفق و شکست‌خورده، تقاضای تداوم یا تغییرشان را دنبال کنند. همان کاری که بسیاری از اتاق‌های فکر انجام می‌دهند که مانند احزاب سیاسی، ایدئولوژی مشخص یا «چارچوب» نظری کم‌و‌بیش تثبیت شده‌ای را به فرایند ارزیابی وارد می‌کنند. البته این عمل از اهمیت کار آنها نمی‌کاهد، چرا که هدف نخستین آنها در انجام ارزیابی به ندرت بهبود سیاست‌هاست، بلکه منظورشان حمایت یا مخالفت با آن است. تمجید یا انتقاد در این مرحله با تلاش حکومت‌ها برای پاسخ به انتقادات، به تعامل در چرخه منجر شده و نظیر مواردی عمل می‌کند که در ارزیابی‌های بسیار مستدل‌تر و فنی‌تر روی می‌دهد (همان: 336).

گونه‌شناسی‌های مختلفی برای ارزیابی سیاست ارائه شده است؛ اما به نظر می‌آید نوع‌شناسی آلکین[4] (2012) کامل‌تر از سایر موارد گفته شده باشد؛ چراکه خود نظریه‌پردازان نیز با ارائه بازخورد به ایشان سهمی در تکمیل و بهبود طبقه‌بندی ذکر شده داشته‌اند. از نظر آنان مدل‌های ارزیابی به صورت کلی‌ به سه دسته روش‌محور (استفاده از تکنیک‌های علمی اثبات‌گرایانه برای ارزیابی)، ارزش‌محور (استفاده از روش‌های گفتمانی و تعاملی برای ایجاد ادراک جمعی و مشترک در ارزیابی) و تلفیقی (ترکیب اقتضایی رویکردهای روش‌محور و ارزش‌محور به فراخور مسئله) تقسیم می‌شوند. در جدول زیر روش‌های مورد استفاده در هر طبقه به تفصیل آمده است.

 

جدول 1. رویکردهای ارزیابی

رویکردهای اصلی ارزیابی

انواع

ابداعکننده

ایده اصلی و تمرکز محتوایی

روش مطالعه و نگرش

نکات برجسته

 

 

 

 

 

 

 

روش‌محور

هدف‌گرا

تایلر (1942)

تعیین اهداف، بررسی میزان تحقق اهداف مشخص

مطالعات قیاسی (قیاسی - الگویی)، مقایسه با استاندارد، مقایسه با میانگین

 

..............................

حسابرسی نتایج

لئون لسینگر (1970)

جلوگیری از اتلاف بودجه، گره زدن پرداخت به تأیید تحقق هدف توسط ارزیاب

تعیین استانداردهای موفقیت، شکست، نتیجه‌گرایی، مدیریت برمبنای هدف، پرداخت برای نتایج خوب و تنبیه برای عملکرد نامناسب

 

 

..............................

موارد موفق

رابرت برینکوهوف (2003)

کمک به مدیران با جمع‌آوری اطلاعات ساده، صریح و کم‌هزینه برای اندازه‌گیری خط‌مشی

پیمایش کلی مخاطبان برای موارد موفق و ناموفق و معرفی آنها، آزمون‌های آماری، مصاحبه

 

..............................

رویکرد تجربی

دانلد کمپبل (1963)

نظارت بر تبعات و پیامدهای اجرای خط‌مشی

مقایسه گروه‌های تجربی و کنترل قبل و ‌بعد از اجرای خط‌مشی

 

..............................

فراتحلیل

کلاس (1976)

رصد کردن پیامدها و آثار خط‌مشی موردنظر با تحلیل و ترکیب تحقیقات تجربی برای بهبود پایایی و روایی

آزمون‌های آماری، نتایج به‌روشنی از داده‌ها استخراج می‌شود، مقبولیت عامه

 

..............................

اطلاعات‌گرا

ادوارد دمینگ (1986)

ایجاد پیامدهای بهتر با تمرکز مدیران اجرایی بر فرایندها و طراحی پایگاه داده‌ها برای پایش دقیق

تحلیل مسیر بحرانی، برنامه‌ریزی عملیاتی، نظام اطلاعات رایانه‌محور، تحلیل سیستمی

 

..............................

هزینه‌مبنا

هنری لوین (1983)

تفاوت در مورد بهره‌وری خط‌مشی با فعالیت‌های انجام شده خط‌مشی

تحلیل هزینه به ورودی، تحلیل هزینه به اثربخشی، تحلیل هزینه به مطلوبیت

 

..............................

داده‌بنیاد

گلیسر و استراوس (1979)

ارزیابی خط‌مشی بر‌مبنای یک نظریه

شناسایی یا تدوین نظریه پایه بر‌اساس روش‌های کمّی و کیفی

 

..............................

موردپژوهی

دانلد کمپبل (1975)

توصیف موثق، عمیق و گسترده خط‌مشی برای ذی‌نفعان

تحلیل محتوای مستندات و مصنوعات، مشاهده مستقل و مصاحبه، گروه کانونی و پیمایش

 

..............................

 

 

 

ارزش‌محور

خبره‌گرا

الیوت آیزنر(1975)

تأکید بر توصیف، تحلیل عمیق شایستگی خط‌مشی از منظر خبره‌ها و تجربیات گذشته

پانل نقد و ارزیابی فنی و تخصصی خبرگان

قدرت شکل‌دهی و استفاده از نظرهای خبرگان در ارزیابی

حقوقی

ولف، اونز (1973)

نظارت در خصوص توفیق خط‌مشی و ‌برمبنای نظر موافقان و مخالفان با توجه به توازن، قوت و ضعف

انواع روشه‌ای کمّی و کیفی، علم منطق و فنون ارزیابی مخالف و موافق

توجه به نظرهای هیئت‌منصفه به‌عنوان نمایندگان ذی‌نفعان (حکمیت)

مشتری‌گرا

اسکریون (1967)

تمرکز بر نهاد مصرف‌کننده خدمات خط‌مشی و نهادینه کردن قضاوت شایستگی اجرای خط‌مشی از دید آن

ارزیابی جدا از اهداف، بر‌اساس انتظارات خدمت‌گیرندگان؛ تجربی و کنترل

ارائه تصویر جامعی از مقبولیت، ارزشمندی و شایستگی خدمات از دید مشتریان

ذی‌نفع‌گرا

رابرت استیک (1982)

تأکید بر تعامل مستمر ارزیاب با مجریان و سایر ذی‌نفعان برای پاسخ به نیازها و انتظارات

اقدام‌پژوهی، روش‌های کیفی، مشاهده مشارکتی، القای نقش و روایتی

کثرت‌گرایی، انعطاف، تعامل، کل‌نگری، خدمت‌محوری و استفاده از تمامی منابع

ساختارگرا

گوبا، لینکلن (1985)

قرار دادن ذی‌نفعان در مرکزیت ارزیابی‌ (انکار وجود هرگونه استاندارد و واقعیت عینی)

روش‌های تحقیق کیفی با محوریت مذاکره و گفت‌وشنود

بهبود سطح آگاهی ذی‌نفع، تعامل ارزیابان، دخالت دادن طیف وسیعی از ارزیابان و انتظارات آنها و ترکیب نظرها

 

 

 

تلفیقی

واقع‌گرا

پاسون و تایلی (1998)

آشکارسازی نظریه پنهان (مستتر و مبنا) در هر خط‌مشی، ارزیابی ضمن توسعه و تکامل مفهومی با شاخص‌ها و روابط میان عناصر

تدوین نظریه پایه معطوف به زمینه مدل منطقی و اقدام، امکان به‌کارگیری روش‌های کمّی و کیفی

کمک به بیان و ترسیم سیستمی (جزئی و کلی) خط‌مشی، تلاش هدفمند بر تدوین و اجرا و تئوریزه کردن

تصمیم‌گرا

استافل بیم (1968)

تمرکز ارزیابی بر تصمیمات به‌جای هدف برای کمک به مجریان برای ارائه دانش لازم جهت اتخاذ تصمیم مناسب

ایجاد هیئت مشورتی از نمایندگان همه افراد و دست‌اندرکاران از خط‌مشی‌گذاری

نقش پیش‌نگرانه ارزیابی به‌عنوان ابزاری جهت بهبود خط‌مشی و تغییر رفتارها برای ارتقای توانمندی در اجرا

مشارکتی

بردلی کوئینز (1997)

کمک به ارتقا و پیشرفت برنامه از طریق آموزش، کنترل کیفی فعالیت‌ها و همکاری اعضای گروه در تشریک ‌مساعی

تشکیل گروه منتخب از کاربران و ارزیابان برای تعریف، اندازه‌گیری و قضاوت در خصوص آثار خط‌مشی

آسانی و صمیمیت، عدم مقاومت نسبت به ارزیابی، افزایش احتمال استفاده از نتایج، منعطف بودن، تکرارپذیری

مطلوبیت‌گرا

مایکل پاتون (1995)

مبتنی بودن ارزیابی بر برآورده کردن نیازهای کاربردی کارفرمای طرح ارزیابی (پیمانکاری)

تحلیل ذی‌نفعان، برگزاری پانل نقد و ارزیابی، روش‌های کیفی و کمّی

استفاده از تمام ظرفیت‌ها و رویکردهای ارزیابی، نگاه واقع‌بینانه در خصوص شرکت ذی‌نفعان و کاربران در کمیته

Source: Alkin, 2012: 386.

 

  1. پیشینه پژوهش

در زمینه ارزیابی سیاست‌ها و برنامه‌های توسعه کشور پژوهش‌های مختلفی انجام شده است. این پژوهش‌ها را به سه دسته می‌توان تقسیم کرد:

دسته اول: پژوهش‌هایی که به‌طور عام بحث ارزیابی و نظام ارزیابی سیاست‌ها در ایران را بررسی کرده‌اند.

امامی میبدی و اشتریان (1391) با بهره‌گیری از رهیافت نهادی ابتدا به صورت‌بندی «مدل نهادی» به‌عنوان پایه مفهومی طراحی نظام ارزیابی سیاست پرداختند. مدل نهادی، چند‌رهیافتی و چند‌روشی است و چهار مؤلفه هدف ارزیابی، وظایف قانونی، ماهیت سیاست و ویژگی‌‌های سازمانی را برای گزینش مدل ارزیابی ملاک قرار می‌‌دهد. به‌این‌ترتیب در نظام ارزیابی سیاست پیشنهادی، معاونت برنامه‌‌ریزی و نظارت راهبردی رئیس‌جمهور از مدل‌‌های نظام اطلاعات مدیریت، پاسخگویی با تأکید بر پرداخت نتیجه‌‌گرا و حسابرسی سیستم‌‌های اجتماعی، مرکز پژوهش‌‌های مجلس از مدل‌های تحلیل هزینه - فایده، تصمیم - نظری، هدف‌محور، آزمایش و موردپژوهی، دیوان محاسبات کشور از مدل حسابرسی عملکرد و مجمع تشخیص مصلحت نظام از مدل‌‌های پایش قانونی و نقد و خبرگی برای اجرای وظایف خود استفاده می‌‌کنند. همچنین نیاز به اخذ بازخورد از منابع غیر‌دولتی و ضرورت تقویت نهادهای خصوصی برای ارزیابی‌های مستقل و عمومی مورد توجه قرار می‌‌گیرد. در این نظام، مجمع تشخیص مصلحت نظام متولی ارزیابی سیاست‌‌های کلی، معاونت برنامه‌‌ریزی و نظارت راهبردی رئیس‌جمهور متولی ارزیابی سیاست‌‌های اجرایی و عملیاتی و مجلس شورای اسلامی متولی ارزیابی سیاست‌های تقنینی است.

امامی میبدی (1394) از دانش و تجارب جهانی برای بهبود ارزیابی سیاست استفاده کرده است. ایشان با به‌کارگیری روش تحلیل مقایسه‌ای کیفی و ترکیبی از دو روش هدفمند و اقتضایی، تجارب 9 کشور توسعه‌یافته و در حال توسعه در ارزیابی سیاست را بررسی و با واکاوی مشترکات میان آنها، اصول عام نظام‌های ارزیابی سیاست را استخراج کرده است. این اصول عبارت اند از: وجود اراده سیاسی و تقاضای دیوانی برای انجام ارزیابی؛ ظرفیت‌سازی برای ارزیابی (قبل و هنگام پیاده‌سازی نظام ارزیابی)؛ پوشش معیارهای اثربخشی، کارایی و تأثیر در نظام ارزیابی؛ استفاده از شاخص‌های عملکرد؛ اتخاذ سیاست‌های تشویقی و تنبیهی نسبت به نتایج عملکرد؛ استفاده توأمان از ارزیابی درونی و بیرونی؛ وجود نهاد هماهنگ‌کننده نظام ارزیابی؛ احساس مالکیت مجریان نسبت به یافته‌های ارزیابی؛ انتشار عمومی گزارش‌های ارزیابی؛ تکامل تدریجی دامنه ارزیابی و روش‌های آن.

رضایی قادی و شیرخانی (1399) به‌ بررسی و ارزیابی سیاستگذاری عمومی در ایران بر‌مبنای نظریه‌ حکمرانی خوب پرداخته‌اند. نتایج پژوهش نشان می‌دهد که نظام جمهوری اسلامی ایران در سیاستگذاری ‌عمومی برمبنای شاخصه‌های حکمرانی خوب، چندان موفق نبوده و مشکلاتی در اجرای آن داشته است. در‌عین‌حال نباید از ظرفیت‌هایی مانند قانون اساسی، چشم‌انداز بیست‌ساله و حتی برنامه‌های توسعه برای هدایت نظام سیاستگذاری ‌به‌ سمت برقراری الگوی حکمرانی خوب غافل شد؛ به‌ویژه آنکه با ابلاغ سیاست‌های کلی نظام اداری و اقتصاد مقاومتی، رویه‌ها و فرایندهای استراتژیک و راهبردی در جهت الگوی حکمرانی خوب طراحی شده‌اند.

قرونه و همکاران (1396) با استفاده از روش دلفی و نظر خبرگان در رشته‌ها و حوزه‌های مختلف در ایران مدل پیش‌ارزیابی سیاست برمبنای رویکرد آینده‌محوری طراحی کرده‌اند. این مدل به صورت علّی شامل 6 مرحله تعریف زمینه سیاستی، تعریف سناریوهای سیاستی ممکن و غربالگری، مدل منطقی سیاست‌های محتمل، تحلیل اثر سیاست‌های محتمل و مقایسه آنها، مشخص کردن شاخص‌ها و سنجه‌های کلید پیشرفت و توصیه و تأمین خوراک اطلاعاتی سیاستگذاران و ذی‌نفعان به منظور توسعه پاسخ‌های آینده است که دارای کارکرد‌های آگاه‌سازی، ابزار ارتباطی بین سیاستگذاران و ذی‌نفعان و بهبود ظرفیت‌های سیاستگذاری است. این امر به بهبود کیفیت سیاست و ارتقای همبستگی سیاستی منجر می‌شود.

اشتریان و امامی میبدی (1394) در چارچوب یک پژوهش تحلیلی - اکتشافی و با استفاده از روش نهادی تلاش کرده‌اند الگویی برای ساماندهی ارزیابی سیاست‌های عمومی در نظام دیوانی - سیاسی ایران طراحی کنند. این الگو نگرش سیستمی و کل‌گرا داشته و با اقتباس از نظریه هاولت، رامش و آنتونی؛ سه حوزه معطوف به مردم و نهادهای مدنی، معطوف به تخلفات و معطوف به کمیت و کیفیت تحقق و نتایج سیاست‌ها را از یکدیگر تفکیک می‌کند. آنان سپس در چارچوب قانون اساسی جمهوری اسلامی ایران به ساماندهی نهادهای کلان ذی‌ربط در این سه حوزه پرداخته و نقش‌ها و مسئولیت‌های آنها را مشخص می‌کنند. الگوی پیشنهادی نظام ارزیابی سیاست‌های عمومی برای ارزیابی سیاست‌های کلی، تقنینی و عملیاتی (طرح‌ها و برنامه‌های دولت) در سطح ملی را در‌بر‌می‌گیرد. این نظام نوع گزارش‌های ارزیابی و چارچوب زمانی گزارشگری آن، متولی، مجری و ناظر آنها، مدل‌ها و روش‌های انجام ارزیابی را پوشش می‌دهد.

دسته دوم: پژوهش‌هایی است که سیاست‌ها و برنامه‌های پنج‌ساله توسعه را مورد بررسی قرار داده‌اند.

شقاقی شهری (1397) با تحلیل عملکرد برنامه‌های پنج‌ساله توسعه ایران به ارزیابی تحقق اهداف کلان اقتصادی سند چشم‌انداز می‌پردازد. وی سیاست‌ها، اهداف و عملکرد اقتصادی برنامه‌های توسعه بعد از انقلاب اسلامی را براساس محورهای 6گانه تولید و بهبود رفاه جامعه، شاخص‌های پولی و کنترل تورم، اشتغال‌زایی و بهره‌وری، توزیع درآمد و فقرزدایی، جهانی شدن اقتصاد و بخش تجارت خارجی ‌و در نهایت اندازه و حضور دولت و بخش خصوصی در اقتصاد، از دو منظر تحلیل توصیفی و کیفی و تحلیل مقایسه‌ای براساس تولید شاخص‌های ترکیبی ارزیابی می‌کند. براساس نتایج به دست آمده از منظر جهت‌گیری به سمت تحقق اهداف اقتصادی سند چشم‌انداز، بیشترین هم‌راستایی و بهترین عملکرد به ترتیب در برنامه‌های سوم توسعه (میانگین رتبه: 83/1)، برنامه اول توسعه (میانگین رتبه: 5/2)، برنامه دوم توسعه (میانگین رتبه: 33/3)، برنامه پنجم توسعه (میانگین رتبه: 5/3) و برنامه چهارم توسعه (میانگین رتبه: 83/3) وجود دارد.

زاهدی و نوایی لواسانی (1395) برنامه پنجم توسعه را با استفاده از تکنیک تحلیل محتوا، از لحاظ کاربست مفاهیم عدالت و رفاه اجتماعی تحلیل و ارزیابی کردند. همچنین آنان به بررسی جایگاه ایران در جهان از منظر شاخص‌های رفاه سن، توسعه انسانی و لگاتوم پرداختند. ارزیابی سیاستگذاری‌های رفاه در برنامه‌های توسعه و به‌طور مشخص برنامه پنجم، مبین نبود نگرش سنجیده و هدفمند در زمینه تأمین عدالت رفاهی در مقیاس عمومی کشور است. با توجه به نگاه محیطی، موقعیتی و قابلیت‌محور آمارتیاسن و با نگاه چندبعدی والزر به عدالت می‌توان نبود نظریه عدالت اجتماعی مدون، منسجم و قابل اجرا در حوزه نظریه های ایرانی - اسلامی را ترمیم کرد.

دسته سوم: پژوهش‌هایی که یک حوزه خاص از سیاست‌ها و برنامه‌ها را مورد ارزیابی قرار داده‌اند.

سید‌نقوی و بابایی (1392) با استفاده از چارچوب دایاموند (الماس) مایکل پورتر، سیاست‌ها و نگاه دولت به روستاها در ایران را بررسی کرده‌اند. برای این منظور با انجام پیمایشی از 31 نفر از خبرگان دانشگاهی و کارشناسان سطوح میانی، سیاستگذاری روستایی در سه نهاد دولتی کشور‌ بررسی شده است که سیاست‌های دولتی ایران، تا چه اندازه با دیدگاه‌های منطقه‌ای مطابقت داشته است.

شیردلی و همکاران (1400) با استفاده از روش دلفی و از طریق طراحی پرسش‌نامه و اخذ نظر صاحب‌نظران، معیارهای مناسب برای اولویت‌بندی شاخص‌های سیاست‌های کلان بخش آب مشخص و وزن معیارها تعیین شد و همچنین با توجه به امکان دستیابی به اطلاعات و داده‌ها، امتیازدهی شد و با استفاده از فرایند تحلیل سلسله‌مراتبی ارزشگذاری شدند. براساس اولویت‌بندی با روش تصمیم‌گیری چندمعیاره فازی، شاخص‌های سرانه آب مصرفی، آب با درآمد، پایداری منابع آبی و درصد کاهش ضایعات محصولات با امتیازهای 100، 31/85، 47/80 و 02/80 به ترتیب رتبه‌های اول تا چهارم را در بین بیست شاخص اصلی جهت ارزیابی صنعت آب به خود اختصاص دادند. در‌حالی‌که در فرایند تحلیل سلسله‌مراتبی، شاخص‌های پایداری آب زیرزمینی، مهار آب‌های خروجی از مرزها، تجهیز اراضی به شبکه‌های مدرن اصلی و فرعی و سیستم‌های نوین آبیاری با امتیازهای 100، 20/50، 42 و 89/23 به ترتیب شاخص‌های برتر بودند.

خاندوزی، شهسواری و علم‌خواه (1395) پس از بررسی مهمترین احکام هر یک از برنامه‌های پنج‌گانه توسعه پس از انقلاب اسلامی در خصوص فقرزدایی، نشان می‌دهند عمده‌ترین ضعف حمایت‌های دولت و نهادهای حمایتی، عدم به‌کارگیری سازوکارهای توانمندساز مبتنی‌بر رویکرد قابلیت، برای حمایت از گروه‌های فقیر بوده است. همچنین حمایت‌های انجام شده از سوی دولت و نهادهای حمایتی، مبتنی‌بر رویکرد رفاهی با هدف جبران محرومیت‌های کوتاه‌مدت گروه‌های فقیر و آسیب‌پذیر، از طریق پرداخت‌های انتقالی و نقدی اجرا شده ‌است. در واقع، رویکرد برنامه‌ریزان برای تدوین سیاست‌های حمایتی در طول برنامه‌های توسعه، فاقد هدفمندی در راستای افزایش قابلیت عبور از فقر و اصلاحات ساختاری متناسب با آن بوده است.

 

  1. روش پژوهش

برای شناسایی و اولویت‌بندی چالش‌های ارزیابی‌ سیاست‌های پنج‌ساله توسعه در ایران، پژوهش حاضر در دو مرحله کیفی و کمّی انجام شده که در شکل 1 نشان داده شده است.

 

شکل 1. مراحل اجرایی انجام پژوهش

 

 

 

 

 

 

ارسال پرسش‌نامه‌ به خبرگان این حوزه

تحلیل نتایج پرسش‌نامه با استفاده از روش تحلیل‌سلسله‌مراتبی‌‌

 

پیشنهاد اولیه چالش‌های ارزیابی‌ سیاست‌های پنج‌ساله توسعه در ایران

بررسی مطالعات کتابخانه‌ای و پژوهش‌های گذشته

دسته‌بندی چالش‌های شناسایی شده

ارسال چالش‌های شناسایی شده به خبرگان جهت دستیابی به اجماع درباره چالش‌ها

نهایی کردن دسته‌بندی چالش‌ها و تدوین پرسش‌نامه

 
   

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

در مرحله اول، از روش پژوهش کیفی استفاده شده است. این روش مبتنی‌بر کدگذاری داده‌هاست که در دو مرحله کدگذاری باز[5] و کدگذاری محوری[6] انجام می‌شود. کدگذاری باز به ایجاد کدهای اولیه منجر می شود. کدها، اجزای اصلی تحلیل هستند و در واقع «نام» یا «برچسب‌هایی» هستند که توسط پژوهشگر به قسمتی (یک جمله یا پاراگراف) از داده‌ها اطلاق می‌شوند و با سؤال‌های پژوهش ارتباط دارند. مرحله کدگذاری محوری شامل دسته‌بندی کدهای مختلف در قالب مضمون‌های بالقوه و مرتب کردن همه خلاصه‌های کدگذاری شده در قالب مضمون مشخص است. در واقع پژوهشگر، تحلیل کدهای خود را شروع کرده و کدهای مختلف را برای ایجاد یک مضمون کلی ترکیب می‌کند.

جامعه مورد مطالعه و شیوه جمع‌آوری داده‌ها در پژوهش حاضر، شامل مقالات علمی و گزارش‌های رسمی منتشر شده در ‌‌ایران است که با روش اسنادی گردآوری شده‌ است. نتیجه جستجو نیز شامل 19 مقاله علمی و پژوهشی و 6 گزارش بوده که در کدگذاری داده‌ها و استخراج یافته‌ها مورد استفاده قرار گرفته‌اند. نمونه‌گیری پژوهش حاضر از نوع هدفمند بوده است. «نمونه‌گیری هدفمند که نمونه‌گیری غیراحتمالی، هدف‌دار یا کیفی نیز نامیده می‌شود به معنای انتخاب هدف‌دار واحدهای پژوهش برای کسب اطلاعات یا دانش است» (رنجبر و همکاران، 1391: 238). معیار توقف نمونه‌گیری نیز دستیابی به اشباع تئوریک بود؛ به این معنا که در بررسی مطالعات بعدی به نقطه تکرار کدهای شناسایی شده دست یافتیم و در بررسی داده‌های بیشتر، کد جدیدی به کدهای قبلی اضافه نشد.

«برای اعتبار یا روایی پژوهش کیفی هشت راهبرد پیشنهاد شده است که با رعایت دست‌کم دو مورد می‌تواند برای پژوهش، اعتبار قابل قبولی ایجاد کند (طباطبایی و همکاران، 1392: 666). در پژوهش حاضر دو راهبرد به کار گرفته شده است. درگیری طولانی‌مدت پژوهشگر با فضای پژوهشی و مشاهده‌های مداوم با افراد موضوع پژوهش، فراگیری فرهنگ آن محیط و کنترل بدفهمی‌های ناشی از مداخله پژوهشگر یا مطلعان، مثلث‌سازی از طریق گردآوری شواهد از منابع مختلف شامل تئوری‌های گوناگون، پژوهشگرهای متعدد، منابع اطلاعاتی متنوع و شیوه‌های گوناگون. مثلث‌سازی به استفاده از منابع متعدد داده‌ها برای ترسیم نتایج، در مورد آنچه حقیقت را تشکیل می‌دهد، اشاره دارد» (همان). در این پژوهش از مثلث‌سازی منابع داده‌ها و مثلث‌سازی محقق برای کدگذاری داده‌ها، نام‌گذاری مفاهیم و دسته‌بندی مفاهیم استفاده شده است.

در مرحله دوم به روش کمّی از روش تحلیل سلسله‌مراتبی[7] استفاده شده است. ابزار گردآوری داده‌ها در این مرحله، پرسش‌نامه مقایسه زوجی است. در مجموع پرسش‌نامه‌ای با 18 چالش برای خبرگان این حوزه (دلیل انتخاب این گروه تسلط بیشتر این افراد با موضوع پژوهش با توجه به تجربه کاری و تخصص آنها بوده است) ارسال شد. نتایج تحلیل پرسش‌نامه‌ها در قسمت یافته‌ها ارائه شده است.

 

  1. یافته‌های پژوهش

یافته‌های پژوهش در دو قسمت سازماندهی شده است: چالش‌های شناسایی شده در مرحله پژوهش کیفی و رتبه‌بندی چالش‌های شناسایی شده بر‌اساس روش پژوهش کمّی.

 

 

 

 

4-1. شناسایی چالش‌های ارزیابی سیاست‌های توسعه در ایران

منظور از چالش‌های ارزیابی سیاست‌های توسعه، چالش‌هایی است که در ادبیات پژوهشی این حوزه توسط پژوهشگران مختلف مطرح شده است. با بررسی ادبیات این حوزه، چالش‌ها شناسایی شدند. در مقابل هر یک از چالش‌ها، نمونه داده‌ای که کد مورد نظر از آن استخراج شده در جدول ذیل نشان داده شده است.

 

جدول 2. چالش‌های ارزیابی سیاست‌های توسعه در ایران

مفاهیم

کد چالش

نمونه‌داده

عدم تعریف روشن از مفهوم توسعه

G1

«در هیچ از برنامه‌های توسعه تعریف روشنی از مفهوم توسعه و اهداف و ویژگی‌های آن به‌عنوان هدف اصلی برنامه ارائه نشده است» (پژوهشنامه اقتصادی مرکز استراتژیک، 1385: 35).

فقدان مکتب نظری مشخص در اقتصاد

G2

‌هیچ‌گونه نظریه، مکتب علمی خاص، الگوی نظری مشخص و کارشناسی در اقتصاد کشور حاکم نبوده ‌است (عرب‌مازار و نور‌محمدی، 1395: 39).

عدم همخوانی اهداف برنامه با تئوری اقتصادی

G3

«‌چند مشکل مشترک این سال‌ها مانع تحقق اهداف برنامه‌ها توسعه شده‌اندکه عدم همخوانی اهداف برنامه با تئوری اقتصادی است» (زنوز، 1384: 3).

اهداف متناقض

G4

مشکل ابهام و ازدیاد اهداف گاه متناقض را از دیدگاه تحلیل انتقادی می‌توان ناشی از نبود تعریف صحیح و مورد اجماع اقتصاددانان و مسئولان سیاسی و اجرایی کشور از برنامه‌های توسعه و اهداف اقتصادی برنامه‌های توسعه دانست (عرب‌مازار و نور‌محمدی، 1395: 40).

فقدان مقیاس سازهای کمّی و عدم تعریف دقیق و کلی‌گویی

G5

«یکی از مهمترین آسیب‌های برنامه‌های چهارم و پنجم توسعه فقدان مقیاس‌سازهای کمّی، تعاریف دقیق و عملیاتی و کلی‌گویی است» (ارغوانی پیرسلامی و غلامی، 1397: 15).

عدم استفاده از شاخص در ارزیابی

G6

برنامه پنجم توسعه از حیث شاخص کمّی که امکان نظارت بهتر و بیشتر را فراهم می‌کند، شاخص‌زدایی شده ‌است (برادران نصری و همکاران، 1389: 19).

نظارت غیرشفاف و بی‌موقع

G7

«فرایند نظارت بر اجرای برنامه بسیار غیرشفاف، بی‌موقع و فاقد اثربخشی است. تأخیر طولانی متعارف در ارائه گزارش تفریغ بودجه توسط دیوان محاسبات و گزارش عملکرد برنامه توسط دولت باعث این امر شده است» (خاندوزی، 1389 :121).

بی‌اعتمادی نهادهای نظارتی به گزارش‌های دولتی

G8

«بی‌اعتمادی نهادهای نظارتی به گزارش‌های دولتی»یکی از چالش‌های ارزیابی سیاست‌ها در ایران ذکر شده است (اشتریان و امامی میبدی، 1393: 18).

نظام آماری نامناسب

G 9

فقدان نظام آماری در بخش بازخورد نیز شفافیت اطلاعات و نظام آماری دقیقی وجود ندارد (سجادی، 1396: 12).

نبود اطلاعات و آمارهای جامع

 G10

«کامیابی برنامه‌ریزی با هر هدف و الگویی، بدون دسترسی به اطلاعات فراگیر و جدید درباره وضع مجود و بدون ترسیم شاخص‌های کمی وضع مطلوب تقریباً محال است» (خاندوزی، 1389: 116).

ضعف گردش اطلاعات و مدیریت دانش در سازمان‌ها

G11

«یکی از عوامل بُعد مدیریتی و فنی که در عدم اجرای سیاست‌های برنامه پنجم توسعه نقش داشته‌اند ضعف گردش اطلاعات و مدیریت دانش در سازمان‌هاست» (اشتریان و همکاران، 1393: 14).

عدم پایبندی دولت به ارائه به موقع گزارش‌های ارزیابی

G12

«عدم پایبندی دولت به ارائه به موقع گزارش‌های ارزیابی» یکی از موانع ارزیابی سیاست‌ها در ایران عنوان شده است (اشتریان و امامی میبدی، 1393: 18).

بودجه محدود تحقیقات ارزیابی

G13

تحقیقات ارزیابی درصد کمی از بودجه برنامه های توسعه را به خود اختصاص می دهد اگر ارزیابی به درستی صورت پذیرد و اطلاعات لازم در اختیار تصمیم گیران قرار گیرد و آنها از اطلاعات استفاده کنند باعث اصلاح برنامه ها و کاستن از هزینه ها می شود» (پناهی، 1372: 74).

کم‌توجهی به ارزیابی علمی برنامه‌ها

G14

«در سازمان برنامه و بودجه به ارزیابی علمی برنامه‌ها و طرح‌ها توجهی نشده است. در ساختار سازمانی آن نیز واحدی به آن اختصاص نیافته است. فقط یکی از وظایف متعدد معاونت امور اقتصادی این سازمان «‌ارزشیابی آثار و نتایج اقتصادی و اجتماعی برنامه‌ها ...» ذکر شده است» (پناهی، 1372: 87).

تلقی منفی از ارزیابی و مقاومت در برابر آن

G15

«تلقی منفی از ارزیابی و مقاومت در برابر آن» یکی از چالش‌های ارزیابی سیاست‌ها در ایران ذکر شده است (اشتریان و امامی میبدی، 1393: 18).

عدم درک کاربرد تحقیقات ارزیابی توسط سیاستگذاران

G16

سیاستگذاران، کاربرد تحقیقات ارزیابی مؤثر را در تنظیم و اجرای طرح‌ها به خوبی درک نکرده‌اند یا اینکه نگران هستند که چنین تحقیقاتی ممکن است موجب نقد و طرد طرح شود (پناهی، 1372: 91).

نبود اراده لازم برای کاربست یافته‌های ارزیابی

G17

«نبود اراده لازم برای کاربست یافته‌های ارزیابی» یکی از موانع ارزیابی سیاست‌ها در ایران عنوان شده است (اشتریان و امامی میبدی، 1393: 18).

روحیه عدم پاسخگویی و مسئولیت‌ناپذیری

G18

«روحیه عدم پاسخگویی و مسئولیت‌ناپذیری» یکی از موانع ارزیابی سیاست‌ها در ایران عنوان شده است (اشتریان و امامی میبدی، 1393: 18).

مأخذ: یافته‌های تحقیق.

 

4-2. رتبه‌بندی چالش‌های ارزیابی سیاست‌های توسعه در ایران

در این مرحله متناسب با چالش‌های شناسایی شده در مرحله کیفی، پرسش‌نامه محقق‌ساخته شامل چالش‌های ارزیابی سیاست‌های توسعه در ایران در اختیار چهل نفر از خبرگان این حوزه قرار گرفت تا در قالب مقایسه زوجی، این چالش‌ها را رتبه‌بندی کنند. از این تعداد، 36 پرسش‌نامه پاسخ داده شد. دو پرسش‌نامه نیز به دلیل اشتباه در پاسخگویی به سؤالات از مطالعه خارج شد که در نهایت 34 پرسش‌نامه مورد تجزیه‌و‌تحلیل قرار گرفتند.

 

1-2-4. آمار توصیفی پاسخ‌دهندگان

در این قسمت برای آشنایی با تعداد پاسخ‌دهندگان به پرسش‌نامه مقایسات زوجی از لحاظ سن، سابقه کار و تحصیلات به توصیف ویژگی‌های جمعیت‌شناختی پاسخ‌دهندگان پرداخته خواهد شد.

 

جدول 3. توزیع فراوانی مربوط به سن

سن

فراوانی

درصد فراوانی

بین 30 تا 40

5

14.70

بین 41 تا 50

9

26.47

بالاتر از 50

20

58.82

 

بیشترین فراوانی پاسخ‌دهندگان مربوط به گروه سنی بالاتر از 50 بوده که 58.82 درصد را تشکیل می‌دهند.

 

جدول 4. توزیع فراوانی مربوط به سابقه کار

سابقه خدمت

فراوانی

درصد فراوانی

1 تا 5 سال

6

17.64

6 تا 10 سال

7

20.58

11 تا 15 سال

13

38.23

16 تا 20 سال

4

11.76

بالاتر از 20 سال

4

11.76

 

38.23 درصد از پاسخ‌دهندگان دارای سابقه کاری بین 11 تا 15 سال بودند.

جدول 5. توزیع فراوانی مربوط به تحصیلات

تحصیلات

فراوانی

درصد فراوانی

کارشناسی ارشد

3

8.83

دکتری

31

91.17

 

91.17 درصد از پاسخ‌دهندگان مدرک دکتری و‌ 8.83 درصد مدرک کارشناسی ارشد داشتند.

 

4-2-2. رتبه‌بندی چالش‌ها

در مراحل قبل چالش‌های پژوهش معرفی شدند در این گام نیز برای تعیین اهمیت و وزن آنها از روش تحلیل سلسله‌مراتبی استفاده می‌شود. ابتدا مقایسات زوجی چالش‌ها ایجاد شد و در اختیار خبرگان قرار گرفت. تعداد خبرگان در این قسمت نیز 34 نفر بود. بعد از تکمیل ماتریس‌های مقایسات زوجی، نرخ ناسازگاری هر کدام محاسبه شد که همگی کمتر از 1/0 بود که نشان از ثبات و سازگار بودن ماتریس‌هاست. مقایسات زوجی خبرگان، توسط روش میانگین هندسی ادغام شدند و جهت تعیین وزن، وارد نرم‌افزار Expert Choice شد.

در اولین بخش مقایسه زوجی بین هجده چالش بر‌اساس طیف 1 تا 9 توسط 34 خبره انجام گرفت. سپس مقایسات زوجی با روش میانگین هندسی ادغام شد. برای نرمال‌سازی مقایسات زوجی هر درایه را بر مجموع درایه‌های ستونش تقسیم می‌کنیم. ‌‌ماتریس نرمال شده در جدول ذیل آمده است.

 

جدول 6. مقایسات نرمال

 

C1

C2

C3

C4

C5

C6

C7

C8

C9

C10

C11

C12

C13

C14

C15

C16

C17

C18

C1

0126/0

0036/0

0034/0

0050/0

0056/0

0087/0

0093/0

0407/0

0063/0

005/0

0043/0

0230/0

0106/0

0072/0

0228/0

0789/0

0174/0

0275/0

C2

0590/0

0167/0

0728/0

0188/0

0122/0

0168/0

0389/0

0096/0

0103/0

0081/0

0080/0

0078/0

0114/0

0078/0

0240/0

0721/0

0180/0

027/0

C3

0577/0

0035/0

0154/0

0133/0

0118/0

0137/0

0203/0

0097/0

0099/0

0084/0

0075/0

0081/0

0119/0

0084/0

0223/0

0544/0

0212/0

0263/0

C4

0416/0

0147/0

0190/0

0165/0

0147/0

0120/0

0167/0

0097/0

0090/0

0084/0

0064/0

0080/0

0144/0

0094/0

0272/0

0439/0

0200/0

0281/0

C5

0522/0

03317/0

0301/0

0259/0

0231/0

0265/0

0235/0

0141/0

0094/0

0087/0

0057/0

0295/0

0151/0

0112/0

0417/0

0574/0

0392/0

0448/0

C6

0547/0

0376/0

0425/0

0517/0

0328/0

0377/0

0170/0

0322/0

0264/0

0371/0

0280/0

0511/0

0216/0

0112/0

0360/0

0575/0

0807/0

0574/0

C7

0422/0

0134/0

0237/0

0309/0

0306/0

0693/0

0313/0

0243/0

0220/0

0176/0

0188/0

0301/0

0196/0

0133/0

0795/0

0283/0

0387/0

0388/0

C8

0139/0

0785/0

0715/0

0764/0

0739/0

0528/0

0580/0

0451/0

1430/0

0688/0

0311/0

0454/0

0260/0

0237/0

0437/0

0304/0

0435/0

0477/0

C9

0879/0

0715/0

0686/0

0805/0

01083/0

0630/0

0625/0

0142/0

0441/0

0372/0

0242/0

0337/0

0357/0

0250/0

0429/0

0456/0

0565/0

0499/0

C10

0879/0

0789/0

0695/0

0753/0

1007/0

0388/0

0676/0

0250/0

0453/0

0382/0

0262/0

0282/0

0274/0

0267/0

0298/0

0233/0

0340/0

0566/0

C11

0822/0

0591/0

0580/0

0730/0

1148/0

0381/0

0469/0

0409/0

0514/0

0411/0

0283/0

0193/0

0239/0

0151/0

0229/0

0159/0

0242/0

0232/0

C12

0266/0

1045/0

0926/0

1006/0

0380/0

0359/0

0505/0

0483/0

0637/0

0659/0

0713/0

0487/0

0356/0

0205/0

0394/0

0451/0

0426/0

0598/0

C13

0827/0

1020/0

0899/0

0801/0

1068/0

01220/0

1112/0

1209/0

0863/0

0972/0

0826/0

0954/0

0698/0

0650/0

1353/0

0412/0

0412/0

0365/0

C14

0867/0

1072/0

0909/0

0877/0

1030/0

1676/0

1175/0

0952/0

0882/0

0715/0

0935/0

1187/0

0537/0

0500/0

0282/0

0262/0

0262/0

0370/0

C15

0554/0

0700/0

0692/0

0609/0

0556/0

1053/0

0395/0

1037/0

1033/0

1290/0

1239/0

1241/0

0518/0

1786/0

1005/0

0835/0

0835/0

1227/0

C16

0135/0

0196/0

0239/0

0318/0

0340/0

0555/0

0933/0

1253/0

0818/0

1383/0

1503/0

0911/0

1433/0

1613/0

1018/0

0845/0

0845/0

0810/0

C17

0885/0

1138/0

0888/0

1012/0

0723/0

0574/0

0992/0

1274/0

0959/0

1378/0

1434/0

1402/0

1988/0

2032/0

1033/0

0863/0

0863/0

1150/0

C18

0549/0

0737/0

0702/0

0705/0

0618/0

0789/0

0968/0

1136/0

1063/0

0811/0

1464/0

0977/0

2295/0

1632/0

0985/0

1254/0

1254/0

1202/0

مأخذ: همان.

 

4-2-3. محاسبه وزن

برای محاسبه وزن کافی است از درایه‌های جدول 6 به صورت سطری میانگین حسابی گرفته شود تا وزن چالش‌ها حاصل شود. نتیجه در جدول 7 آورده شده است.

 

جدول 7. وزن و رتبه چالش‌ها

عنوان چالش

کد

وزن

رتبه

عدم تعریف روشن از مفهوم توسعه

C1

0162/0

18

فقدان مکتب نظری مشخص در اقتصاد

C2

0244/0

15

عدم همخوانی اهداف برنامه با تئوری اقتصادی

C3

0180/0

16

اهداف متناقض

C4

0178/0

17

فقدان مقیاس سازهای کمّی و عدم تعریف دقیق و کلی‌گویی

C5

0272/0

14

عدم استفاده از شاخص در ارزیابی

C6

0396/0

12

نظارت غیرشفاف و بی‌موقع

C7

0318/0

13

بی‌اعتمادی نهادهای نظارتی به گزارش‌های دولتی

C8

0529/0

8

نظام آماری نامناسب

C9

0528/0

9

نبود اطلاعات و آمارهای جامع

C10

0489/0

10

ضعف گردش اطلاعات و مدیریت دانش در سازمان‌ها

C11

0432/0

11

عدم پایبندی دولت به ارائه به موقع گزارش‌های ارزیابی

C12

0550/0

7

بودجه محدود تحقیقات ارزیابی

C13

0871/0

4

کم‌توجهی به ارزیابی علمی برنامه‌ها

C14

0807/0

6

تلقی منفی از ارزیابی و مقاومت در برابر آن

C15

0942/0

3

عدم درک کاربرد تحقیقات ارزیابی توسط سیاستگذاران

C16

0861/0

5

نبود اراده لازم برای کاربست یافته‌های ارزیابی

C17

1164/0

1

روحیه عدم پاسخگویی و مسئولیت‌ناپذیری

C18

1064/0

2

مأخذ: همان.

 

4-2-4. اعتبارسنجی نتایج با نرم‌افزار

برای بررسی اعتبار نتایج از نرم‌افزار اکسپرت چویس استفاده شده است. ابتدا مقایسات زوجی وارد نرم‌افزار می‌شود و سپس وزن چالش‌ها محاسبه می‌شود که در نمودار 1 آمده است. بر این اساس وزن چالش‌ها کاملاً هم‌راستا با وزن محاسبه شده در اکسل است اختلاف جزئی که بین وزن‌هاست به دلیل الگوریتم متفاوت محاسبه وزن است؛ زیرا در اکسل از الگوریتم میانگین حسابی و در نرم‌افزار از الگوریتم بردار ویژه برای محاسبه وزن استفاده شده است اما رتبه‌ها همواره یکسان است.

 

 

 

 

 

 

 

 

 

 

 

 

 

نمودار 1. خروجی وزن چالش‌ها از نرم‌افزار اکسپرت چویس

 

 

به‌این‌ترتیب «نبود اراده لازم برای کاربست یافته‌های ارزیابی» با وزن 1164/0 رتبه اول چالش‌های ارزیابی سیاست‌های توسعه در ایران را کسب کرده است. «روحیه عدم پاسخگویی و مسئولیت‌ناپذیری» با وزن 1064/0رتبه دوم و «تلقی منفی از ارزیابی و مقاومت در برابر آن» با وزن 0942/0 رتبه سوم را کسب کرده است.

در انتهای فهرست رتبه‌بندی نیز چالش «عدم همخوانی اهداف برنامه با تئوری اقتصادی» با وزن0180/0 در رتبه شانزدهم، «اهداف متناقض» با وزن 0178/0 در رتبه هفدهم و «عدم تعریف روشن از مفهوم توسعه» با وزن 0162/0 در رتبه هجدهم قرار گرفته است.

 

  1. جمع‌بندی و نتیجه‌گیری

پژوهش حاضر به دنبال شناسایی و رتبه‌بندی چالش‌های ارزیابی سیاست‌های توسعه در ایران است که برای شناسایی آن از روش پژوهش کیفی استفاده شده است. در این مرحله، روش نمونه‌گیری از داده‌ها، هدفمند بوده است. براساس نتایج این مرحله چالش‌های ارزیابی سیاست‌های توسعه در ایران شامل هجده چالش بوده است. به‌کار‌گیری منابع متعدد از ادبیات این حوزه و تکرار کدگذاری داده‌ها، موجب ارائه چنین تصویری از چالش‌های ارزیابی سیاست های توسعه در ایران شده است. در مرحله دوم به روش کمّی با استفاده از روش تحلیل سلسله‌مراتبی،‌‌ این هجده چالش شناسایی و رتبه‌بندی شده‌اند.

یافته‌های پژوهش نشان می‌دهد که چالش‌های مختلفی در ارزیابی سیاست‌های توسعه در ایران وجود دارد. رتبه‌بندی ‌‌چالش‌ها‌ گویای این است که چالش‌هایی که مرتبط با فرهنگ ارزیابی سیاست‌ها هستند از نظر خبرگان شرکت‌کننده در پژوهش، از اولویت و اهمیت بیشتری برخوردارند. این چالش‌ها بیانگر نگرش، رفتار و عملکرد سیاستگذاران درباره سیاست‌های توسعه هستند. به‌‌عنوان مثال سه چالش اول در این رتبه‌بندی به ترتیب «نبود اراده لازم برای کاربست یافته‌های ارزیابی» با وزن‌ 11641/0، «روحیه عدم پاسخگویی و مسئولیت‌ناپذیری» با وزن 1064/0 و «تلقی منفی از ارزیابی و مقاومت در برابر آن» با وزن 0942/0 به نوعی مرتبط با استفاده از نتایج ارزیابی سیاست‌ها و نوع مواجهه سیاستگذاران و برنامه‌ریزان با مقوله ارزیابی است.

چالش‌های رتبه چهارم تا ششم به ترتیب شامل «بودجه محدود تحقیقات ارزیابی»، «عدم درک کاربرد تحقیقات ارزیابی توسط سیاستگذاران» و «کم‌توجهی به ارزیابی علمی برنامه‌ها» نیز مرتبط با فرهنگ ارزیابی هستند. علاوه‌بر این بیانگر اهمیت رویکرد علمی در ارزیابی سیاست‌های توسعه در ایران هستند. چالش‌های رتبه هفتم و هشتم مرتبط با عملکرد دستگاه‌های دولتی وارتباط آنها با نهادهای نظارتی است. چالش‌های رتبه نهم تا چهاردهم بیانگر مسائل فنی و اطلاعاتی حوزه ارزیابی سیاست‌های توسعه در ایران است. از رتبه‌بندی چالش‌های ارزیابی سیاست‌های توسعه در ایران می‌توان نتیجه گرفت که چالش‌های مرتبط با فرهنگ ارزیابی سیاست‌های توسعه نسبت به چالش های مرتبط با مسائل فنی و اطلاعاتی ارزیابی سیاست‌ها از اهمیت بیشتری برخوردار است.

برای رفع چالش‌های بررسی شده در پژوهش حاضر پیشنهادهای زیر مطرح می‌شود:

- نهادینه‌سازی فرهنگ ارزیابی سیاست‌ها و پذیرش نتایج پژوهش‌های علمی حوزه ارزیابی سیاست‌های توسعه؛

- تقویت ارتباط سازمان‌های اجرایی و نهادهای نظارتی با هدف تقویت فرایند ارزیابی سیاست‌های توسعه؛

- تدوین و تنظیم سیاست‌های توسعه مبتنی‌بر اهداف مشخص و شاخص‌سازی دقیق محتوای سیاست‌های توسعه با هدف امکان‌پذیری ارزیابی دقیق سیاست‌ها؛

- تقویت و گسترش نظام‌های آماری مرتبط با سیاست‌های توسعه و افزایش قابلیت دسترسی و اعتماد به داده‌های آماری.

  1. امامی میبدی، راضیه (1394). «ارزیابی سیاست، نابسامانی مفهومی؟»، سیاستگذاری عمومی، 1(3).
  2. امامی میبدی، راضیه و کیومرث اشتریان (1391). «طراحی نظام ارزیابی سیاست‌‌های عمومی در جمهوری اسلامی ایران»، پژوهشنامه علوم سیاسی، 7(2).
  3. امامی میبدی، راضیه (1394). «اصول عام ارزیابی نظام‌های ارزیابی سیاست» دانش سیاسی، 11(1).
  4. ارغوانی پیرسلامی، فریبرز و محمد‌حسن غلامی (1397). «دیپلماسی اقتصادی ایران در بستر قوانین برنامه‌های توسعه: آسیب‌شناسی برنامه چهارم تا ششم»، مجله مطالعات حقوقی دانشگاه شیراز، دوره 10، ش 2.
  5. اشتریان، کیومرث و راضیه امامی میبدی (1394). «ساماندهی ارزیابی سیاست‌های عمومی‌ در جمهوری اسلامی ایران»، دانش سیاسی، 10(2).
  6.  برادران نصیری، مهران، الهه سلیمانی مورچه‌خورتی، ‌محمدولی سامانی، جمال و مهدی مظاهری (1389). « بررسی لایحه برنامه پنجم توسعه (10): فصل پنجم - اقتصادی: آب و کشاورزی»، گزارش مرکز پژوهش‌های مجلس، شماره مسلسل 10257.
  1. پژوهشنامه اقتصادی مرکز تحقیقات استراتژیک (1385). «ارزیابی کلی آسیب‌های اجرای نظام برنامه‌ریزی»، ش 3.
  2. پناهی، محمد‌حسین‌ (1372). «ضرورت ارزیابی علمی برنامه‌های توسعه و وضعیت آن در ایران»، فصلنامه علوم اجتماعی، 2(3و4).
  3. خالصی، امیر و علیرضا فرهادی‌کیا‌ (1388). «ارزیابی برنامه‌های توسعه اقتصادی، اجتماعی و فرهنگی ایران بعد از انقلاب»، برنامه، 351.
  4. خاندوزی سید‌احسان (۱۳۸۹). «ارزیابی شیوه‌ برنامه‌نویسی توسعه در ایران (1368-1388)»، فصلنامه برنامه‌ریزی و بودجه، ۱۵‌(۱)‌.
  5. خاندوزی، سیداحسان، سجاد شهسواری و عبدالله علم‌خواه (1395). «ارزیابی سیاست‌های فقرزدایی در پنج برنامه توسعه جمهوری اسلامی ایران»، راهبرد توسعه، 46.
  6. خدابخشی، محمد (1396). «نظارت بر اجرای برنامه‌های توسعه کشور با رئیس مجلس»، خبرگزاری خانه ملت، قابل دسترسی در سایت: https://www.icana.ir/fa/newss/346561.
  7. رضایی قادی، مهدی و علی شیرخانی (1399). «ارزیابی سیاستگذاری عمومی در نظام جمهوری اسلامی ایران برمبنای نظریه‌ حکمرانی خوب»، سیاست متعالیه، 8(30).
  8. رنجبر، هادی، علی‌اکبر حق‌دوست، مهوش صلصالی، علیرضا خوشدل، محمدعلی سلیمانی و نسیم بهرامی (1391). «نمونه‌گیری در پژوهش‌های کیفی: راهنمایی برای شروع»، مجله علمی پژوهشی دانشگاه علوم پزشکی ارتش جمهوری اسلامی ایران، سال دهم، ش‌ 3.
  9. زالی، نادر (1391). «آسیب‌شناسی برنامه‌ریزی در ایران با پیشنهاد مأموریت محوری در سیاستگذاری منطقه‌ای»، فصلنامه برنامه‌ریزی منطقه‌ای، 2(6).
  10. زاهدی، محمدجواد و محمود نوایی لواسانی (1395). «ارزیابی برنامه‌های توسعه جمهوری اسلامی ایران از منظر بازنمایی و کاربست نظریه‌های رفاه و عدالت اجتماعی (با تأکید بر برنامه پنجم توسعه)»، مطالعات و تحقیقات اجتماعی در ایران، 5(1).
  11. زنوز، هادی (1384). «تفاوت دیدگاه برنامه‌ریزان و مجریان مانع موفقیت برنامه توسعه است»، گفتگو اقتصاد، ش‌ 138.
  12. سجادی، حمید و ابراهیم متقی (1393). «آسیب‌شناسی امکان‌پذیری نظارت و کنترل در برنامه‌های توسعه ایران»، فصلنامه دانش سیاسی، 10(2).
  13. سلطانی علی‌محمد و سیدحبیب‌اله طباطباییان (1398). «ارزیابی سیاست‌های علم، فناوری و نوآوری»، سیاست علم و فناوری، 11(2).
  14. سیدنقوی، میر‌علی و علی بابایی (1392). «ارزیابی سیاست‌های توسعه اقتصادی روستایی از دیدگاه منطقه‌ای با نگاهی بر سیاست‌های دولت در ایران»، پژوهش‌های روستایی، 4(3).
  15. شقاقی شهری، وحید‌ (1397). «ارزیابی برنامه‌های پنج‌ساله توسعه کشور از منظر تحقق اهداف اقتصادی سند چشم‌انداز»، مجلس و راهبرد، 25(94).
  16. شیردلی، عظیم، خانی، تملیه، ذبیح الله، میرعباسی نجف‌آبادی، رسول، صیادیان برخوردار، یونس (1400). «بررسی اولویت‌بندی شاخص‌های ارزیابی سیاست‌های کلی نظام در بخش آب»، سیاست‌های راهبردی و کلان، 9(36).
  17. طباطبایی، امیر، پرخیده حسنی، حامد مرتضوی و محبوبه طباطبایی چهر (1392). «راهبردهایی برای ارتقای علمی در تحقیقات کیفی»، مجله دانشگاه علوم پزشکی خراسان شمالی، 5(3).
  18. عرب‌مازار، عباس و خسرو نور‌محمدی (1395). «تحلیل انتقادی، هدف‌های اقتصادی برنامه‌های توسعه در ایران‌ قبل و بعد از پیروزی انقلاب اسلامی»، مطالعات و تحقیقات اجتماعی در ایران، 5(1).
  19. عزیزخانی، فاطمه، محمد قاسمی و رضا زمانی (1389). «آسیب‌شناسی برنامه‌های توسعه ایران»، مرکز پژوهش‌های مجلس شورای اسلامی، شماره مسلسل 907.
  20. عسکری آزاد، محمود (1394). «رفع چهار ایراد برنامه‌های توسعه»، روزنامه اقتصاد، 1.
  21. قرونه، حسن، سیدکمال طبائیان، علیرضا بوشهری و سعید قربانی (1396). «طراحی مدل پیش‌ارزیابی سیاست با رویکرد آینده‌پژوهی»، مجلس و راهبرد، 24(89).
  22. واعظی، رضا و محسن محمدی (1396). «الگویی برای ارزیابی خط‌مشی‌های عمومی در ایران (مطالعه خط‌مشی مالیات بر ارزش افزوده)»، چشم‌انداز مدیریت دولتی، 29.
  23. هاولت، مایکل، رامش، ام و پرل، آنتونی (1395). مطالعه خط‌مشی عمومی؛ چرخه‌های خط‌مشی و زیرنظام‌های خط‌مشی، ترجمه عباس منوریان و ابراهیم گلشن، تهران، مؤسسه مهربان نشر.
  24. Adelle, C. and S. Weiland (2012). "Policy Assessment: The State of the art", Impact Assessment and Project Appraisal, 30(1).
  25. Athey, S. and G. W. Imbens (2017). "The State of Applied Econometrics: Causality and Policy Evaluation", Journal of Economic Perspectives, 31(2).
  26. Alkin, Marvin. C. (2012). Evaluation Theory. Evaluation Roots: A Wider Perspective of Theorists’ Views and Influences, 386.
  27. Hansen, P. R. (2005). "A Test for Superior Predictive Ability", Journal of Business and Economic Statistics, 23(4).
  28. Lemire, S., L. R. Peck and A. Porowski (2020). "The Growth of the Evaluation Tree in the Policy Analysis Forest: Recent Developments in Evaluation", Policy Studies Journal, 48.
  29. Mittelmark, M. B. (2001). "Promoting Social Responsibility for Health: Health Impact Assessment and Healthy Public Policy at the Community Level", Health Promotion International, 16(3).
  30. The Social Science Encyclopedia (2004). By Adam Kuper, London, Routledge.
  31. Taylor, L. (2006). "The Changing Landscape of English: Implications for Language Assessment", ELT Journal, 60(1).