∴(ka-b)·(a-kb)=0. 2分
∴ka2-k2a·b-b·a+kb2=0.
∴9k-(k2+1)×3×2·cos120°+4k=0.
∴3k2+13k+3=0.
∴k=
. 5分
∴当k=
时,ka-b与a-kb垂直. 6分
(2)∵|ka-2b|2=k2a2-4ka·b+4b2
=9k2-4k×3×2·cos120°+4×4
=9k2+12k+16=(3k+2)2+12. 10分
∴当k=-
时,|ka-2b|取得最小值为2
. 12分
18.解:由余弦定理,得c2=a2+b2-2abcosC.
∵a2+b2=c2+ab,
∴ab-2abcosC=0.
∴cosC=
,
∴C=60° 4分
∵sinAsinB=
,cos(A+B)=cos(180°-C)=cos120°=-
,
cos(A+B)=cosAcosB-sinAsinB,
∴cosAcosB=
. 8分
∴cos(A-B)=cosAcosB+sinAsinB=1.
∵-π<A-B<π,∴A-B=0.
∴A=B=60°.
∴△ABC是等边三角形. 12分