「デザインが良くない（気に入らない）から掲載を諦めた。」
少なくとも数回はそんな経験が私にはあります。

どうしてもというものに対しては若干、苦虫を噛む感じで掲載することはありますが…。

これは「自分のサイトの配色と合わない」という理由は含まれません。こちら側のそのような理由は儲からないとか広告が悪いとかで嘆くに値しませんよね。
そういうこともあって、私の「稼ぎが欲しい」サイトの多くでは白ベースかより淡い色ベースで作るように心がけています。より広告が映えるように。

できればＥＣサイトさんには広告用バナーデザインにも力を入れて欲しいと思うことはあります。近頃では良いデザインのバナーは随分増えてますが、中小企業さんでこれからアフィリエイトにかけようという場合は（そうでなくても）、そういったところにも注力されてみたらどうでしょう。

電脳卸の名物企画として、１位の賞金が数万円という毎月開催のページ作成コンテストがありますが、アフィリエイト用のバナー作成コンテストなんかもやってみたらどうだろうかと思います。もうやってるＡＳＰがあったかもしれませんけど。

・アフィリエイトランキング
・ＦＣ２のランキング