强化学习---Boltzmann选择

realone

下面的强化学习 代码

epsilon_greedy选择怎么改成  Boltzmann选择？

1. #include <stdio.h>
   
2. #include <time.h>
   
3. #include <stdlib.h>
   
4. #include <math.h>
   
5. 
   
6. int move(int a, int &x, int &y, int x_size);
   
7. int xy2s(int x, int y, int x_size);
   
8. int select_action(int s, int num_a, double** Qtable);
   
9. double max_Qval(int s, int num_a, double** Qtable);
   
10. int epsilon_greedy(int epsilon,int s, int num_a, double** Qtable);
    
11. int main()
    
12. {
    
13. int x_size;//x軸方向,迷路大小（x_size=10 时，x=0~9)
    
14. int y_size;
    
15. double alpha, gamma;
    
16. int x, y, x_init, y_init;
    
17. int **maze;
    
18. int num_step;//Q值更新次数
    
19. int num_trial;//运行回数
    
20. int i,j,k;
    
21. int a,s,sd;
    
22. int num_a;
    
23. int num_s;
    
24. double **Qtable;
    
25. int reward;
    
26. double Qmax;
    
27. int epsilon;
    
28. 
    
29. //初期值
    
30. alpha=0.5;
    
31. gamma=0.9;
    
32. epsilon=10;
    
33. x_size=10;
    
34. y_size=9;
    
35. x_init=1;
    
36. y_init=1;
    
37. num_step=100;
    
38. num_trial=500;
    
39. num_a=4;
    
40. num_s=x_size*y_size;
    
41. 
    
42. int *suc_sum;
    
43. int *suc_sum2;
    
44. 
    
45. suc_sum= new int [(int)(num_trial/100)];
    
46. suc_sum2= new int [(int)(num_trial/100)];
    
47. //初始化
    
48. srand( (unsigned)time( NULL ) );
    
49. //Q-table
    
50. Qtable=new double*[num_s];
    
51. for(i=0;i<num_s;i++){
    
52.   Qtable[i]=new double[num_a];
    
53. }
    
54. 
    
55. //Q-table初始化
    
56. for(i=0;i<num_s;i++){
    
57.   for(j=0;j<num_a;j++){
    
58.    Qtable[i][j]=0.1;
    
59.   }
    
60. }
    
61. 
    
62. //迷路
    
63. maze=new int*[x_size];
    
64. for(i=0;i<x_size;i++){
    
65.   maze[i]=new int[y_size];
    
66. }
    
67. 
    
68. //迷路初始化（设置迷路墙壁）
    
69. for(i=0;i<x_size;i++){
    
70.   for(j=0;j<y_size;j++){
    
71.    if(i==0 || j==0 || i==(x_size-1) || j==(y_size-1)){
    
72.     maze[i][j]=-1;
    
73.     for(k=0;k<num_a;k++){
    
74.      Qtable[xy2s(i,j,x_size)][k]=0.0;
    
75.     }
    
76.    }
    
77.    else{
    
78.     maze[i][j]=0;
    
79.    }
    
80.   }
    
81. }
    
82. 
    
83. //设置墙壁
    
84. maze[1][2]=-1;
    
85. maze[2][2]=-1;
    
86. maze[3][2]=-1;
    
87. maze[5][4]=-1;
    
88. maze[6][4]=-1;
    
89. maze[6][3]=-1;
    
90. maze[7][3]=-1;
    
91. maze[8][3]=-1;
    
92. maze[2][6]=-1;
    
93. maze[2][7]=-1;
    
94. maze[3][6]=-1;
    
95. maze[6][7]=-1;
    
96. for(i=0;i<x_size;i++){
    
97.   for(j=0;j<y_size;j++){
    
98.    if (maze[i][j]==-1){
    
99.     for(k=0;k<num_a;k++){
    
100.      Qtable[xy2s(i,j,x_size)][k]=0.0;
     
101.     }
     
102.    }
     
103.   }
     
104. }
     
105. //设置maze
     
106. maze[8][6]=10;
     
107. 
     
108. for(i=0;i<x_size;i++){
     
109.   for(j=0;j<y_size;j++){
     
110.    printf("%3d",maze[i][j]);
     
111.   }
     
112.   printf("\n");
     
113. }
     
114. 
     
115. //初期设定
     
116. x=x_init;
     
117. y=y_init;
     
118. s=xy2s(x,y,x_size);
     
119. for(i=0;i<num_trial/100;i++){
     
120.   suc_sum[i]=0;
     
121. }
     
122. for(i=0;i<num_trial/100;i++){
     
123.   suc_sum2[i]=0;
     
124. }
     
125. 
     
126. //开始学习
     
127. for(i=0;i<num_trial;i++){
     
128.   printf("trial=%d\n",i);
     
129.   for(j=0;j<num_step;j++){
     
130. [size=3][color=red][b]   a=epsilon_greedy(epsilon,s,num_a,Qtable);//<--改为 Boltzmann选择[/b][/color][/size]
     
131.    sd = move(a,x,y,x_size);
     
132.    reward=maze[x][y];
     
133.    Qmax=max_Qval(sd,num_a,Qtable);
     
134.    Qtable[s][a]=(1 - alpha) * Qtable[s][a] + alpha * ((double)reward + gamma * Qmax);
     
135.    if(reward<0){
     
136.     //失败
     
137.     x=x_init;
     
138.     y=y_init;
     
139.     s=xy2s(x,y,x_size);
     
140.     printf("失败\n");
     
141.     break;
     
142.    }
     
143.    else if(reward>0){
     
144.     //成功
     
145.     x=x_init;
     
146.     y=y_init;
     
147.     s=xy2s(x,y,x_size);
     
148.     printf("成功\n");
     
149.     suc_sum[i/100]++;
     
150.     break;
     
151.    }
     
152.    else{
     
153.     //继续
     
154.     s=sd;
     
155.    }
     
156.   }
     
157.   
     
158.   //验证
     
159.   if (i%100==0){
     
160.    for(k=0;k<100;k++){
     
161.     //初期设定
     
162.     x=x_init;
     
163.     y=y_init;
     
164.     s=xy2s(x,y,x_size);
     
165.     for(j=0;j<num_step;j++){
     
166.      a=select_action(s,num_a,Qtable);
     
167.      sd = move(a,x,y,x_size);
     
168.      reward=maze[x][y];
     
169.      if(reward<0){
     
170.       //失败
     
171.       x=x_init;
     
172.       y=y_init;
     
173.       s=xy2s(x,y,x_size);
     
174.       //printf("失败\n");
     
175.       break;
     
176.      }
     
177.      else if(reward>0){
     
178.       //成功
     
179.       x=x_init;
     
180.       y=y_init;
     
181.       s=xy2s(x,y,x_size);
     
182.       suc_sum2[i/100]++;
     
183.       //printf("成功\n");
     
184.       break;
     
185.      }
     
186.      else{
     
187.       
     
188.       s=sd;
     
189.      }
     
190.     }
     
191.    }
     
192.   }
     
193. }
     
194. 
     
195. //追加
     
196. //方向
     
197. for(x=0;x<x_size;x++){
     
198.   for(y=0;y<y_size;y++){
     
199.    s=xy2s(x,y,x_size);
     
200.    Qmax=max_Qval(s,num_a,Qtable);
     
201.    if(Qmax==0){
     
202.     printf("%3d",maze[x][y]);
     
203.    }
     
204.    else{
     
205.     a=select_action(s,num_a,Qtable);
     
206.     if(a==0){
     
207.      printf(" →");
     
208.     }
     
209.     else if(a==1){
     
210.      printf(" ↓");
     
211.     }
     
212.     else if(a==2){
     
213.      printf(" ←");
     
214.     }
     
215.     else{
     
216.      printf(" ↑");
     
217.     }
     
218.    }
     
219.   }
     
220.   printf("\n");
     
221. }
     
222. for(i=0;i<num_trial/100;i++){
     
223.   printf("%d-%d epsilon_greedy:%d/100, select_action:%d/100\n",i*100,i*100+99,suc_sum[i],suc_sum2[i]);
     
224. }
     
225. //追加到这里
     
226. 
     
227. for(i=0;i<num_s;i++){
     
228.   delete[] Qtable[i];
     
229. }
     
230. delete[] Qtable;
     
231. for(i=0;i<x_size;i++){
     
232.   delete[] maze[i];
     
233. }
     
234. delete[] maze;
     
235. return 0;
     
236. }
     
237. 
     
238. 
     
239. int move(int a, int &x, int &y, int x_size){
     
240. if( a == 0){
     
241.   y = y + 1;
     
242. }
     
243. else if( a == 1 ){
     
244.   x = x + 1;
     
245. }
     
246. else if( a == 2 ){
     
247.         y = y - 1;
     
248. }
     
249. else{
     
250.         x = x - 1;
     
251. }
     
252. int sd;
     
253. sd =  xy2s(x,y,x_size);
     
254. 
     
255. return sd;
     
256. }
     
257. int xy2s(int x, int y, int x_size){
     
258. int s;
     
259. s = x + y * x_size;
     
260. return s;
     
261. }
     
262. int select_action(int s, int num_a, double** Qtable){
     
263. double max;
     
264. int i=0;
     
265. int* i_max = new int[num_a];
     
266. int num_i_max=1;
     
267. int a;
     
268. i_max[0]=0;
     
269. max=Qtable[s][0];
     
270. for(i=1;i<num_a;i++){
     
271.   if (Qtable[s][i]>max){
     
272.    max=Qtable[s][i];
     
273.    num_i_max=1;
     
274.    i_max[0]=i;
     
275.   }
     
276.   else if(Qtable[s][i]==max){
     
277.    num_i_max++;
     
278.    i_max[num_i_max-1]=i;
     
279.   }
     
280. }
     
281. 
     
282.   
     
283. a= i_max[rand()%num_i_max];
     
284. return a;
     
285. }
     
286. double max_Qval(int s, int num_a, double** Qtable){
     
287. double max;
     
288. int i=0;
     
289. 
     
290. max=Qtable[s][0];
     
291. for(i=1;i<num_a;i++){
     
292.   if (Qtable[s][i]>max){
     
293.    max=Qtable[s][i];
     
294.   }
     
295. }
     
296. return max;
     
297. }
     
298. int epsilon_greedy(int epsilon, int s, int num_a, double** Qtable){
     
299. int a;
     
300. if(epsilon > rand()%100){
     
301.   
     
302.   a=rand()%num_a;
     
303.   //printf("rand选择行动\n");
     
304. }
     
305. else{
     
306.   //选择最大Q值的行动
     
307.   a=select_action(s,num_a,Qtable);
     
308. }
     
309. return a;
     
310. }

复制代码

[ 本帖最后由 风花雪月 于 2008-1-18 10:39 编辑 ]

风花雪月

这个和算法好像没有他大关系

估计搞清楚epsilon_greedy 和 Boltzmann两种选择的原理改起来应该很容易