روابط نامشروع و خلاف اخلاق محمدرضا پهلوى، یکى از موارد اختلاف شاه با فرح بود و اسدالله علم به عنوان وزیر دربار تأمین‏ کننده زنان بدکاره براى شاه بود.

او در خاطراتش در این باره مى‌‏نویسد:

در آخر عرض کردم Annenbery که دیشب آمد. خیلى Surpriseعالى براى شاهنشاه بود. چون مدتها بود که باید بیاید و نمى‌‏آمد. در حد اعلاى زیبایى است. فرمودند قطعا امشب براى شام او را خواهم دید. منجمله رفتم این دختر خانم را ملاقات کردم. واقعا زیباست. امسال در مسابقه زیبایى لندن نفر دوم شده است. ولى به نظر من از شماره یک زیباتر است. ( یادداشت‏هاى علم ج ۵، ص ۴۱۱)

بر اساس سندی که مشاهده می‌شود:

شاه بنابر توصیه پزشک خود باید روزى سه بار با یک دختر جوان براى جلوگیرى از ناراحتى‏‌هاى پیرى تماس داشته باشد و به همین منظور شاه به مادام کلود اجازه داده است که دختران مورد نظرش را از پاریس به ایران بفرستد. در نتیجه فرح دیبا باید اکنون تمام ملاقاتها و دیدارهاى داخلى کشور را به تنهایى انجام دهد.

منبع: زنان دربار به روایت اسناد ساواک، کتاب پنجم، فرح پهلوی، ج دوم، بهار ۱۳۸۸، مرکز بررسی اسناد تاریخی، ص۳۶۸