to不定詞には「名詞、形容詞、副詞」の「基本用法」がありますが、何でもこの3種に押し込めようとする必要はありません。to不定詞の基本用法は「もっとも典型的で3つの品詞の役割に当てはめて理解しやすいもの」に過ぎず、今回のような例は恐らく参考書でも、どの用法にも含めていないでしょう。
どうしてもそれではいや!(笑)という人は「叙述形容詞」扱いする手もなくはないですが、、。(基本的に形容詞用法は名詞を修飾するものに限った方がいいと思います)
私は目的語のyouを意味上の主語とした「意味上の述語」であり、you と to be more carefulにSVが組み込まれた「ネクサス構文」として別に考えるのが一番いいと感じます。