解:∵齐次方程y''-y'+2y=0的特征方程是r^2-r+2=0,则r=(1±√7i)/2
(二复根)
∴此齐次方程的通解是y=[C1cos(√7x/2)+C2sin(√7x/2)]e^(x/2)
(C1,C2是任意常数)
∵设原方程的解为y=(Ax+B)e^x
则代入原方程,化简得
[2Ax+(A+2B)]e^x=xe^x
==>2A=1,A+2B=0
==>A=1/2,B=-1/4
∴y=(x/2-1/4)e^x是原方程的一个特解
故原方程的通解是y=[C1cos(√7x/2)+C2sin(√7x/2)]e^(x/2)+(x/2-1/4)e^x。