合成环境中的模拟-真实联合强化迁移用于3D室内导航的方法

Fengda Zhu†Linchao Zhu§Yi Yang§‡{zhufengdaaa,zhulinchao7}@gmail.comYi.Yang@uts.edu.au... ...AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEeqx6MVjBdMW2lA22027dLMJuxOhhP4GLx4U8eoP8ua/cdvmoK0vLDy8M8POvGEqhUHX/XZKG5tb2zvl3cre/sHhUfX4pG2STDPus0QmuhtSw6VQ3EeBkndTzWkcSt4JJ3fzeueJayMS9YjTlAcxHSkRCUbRWj5qKtSgWnPr7kJkHbwCalCoNah+9YcJy2KukElqTM9zUwxyqlEwyWeVfmZ4StmEjnjPoqIxN0G+WHZGLqwzJFGi7VNIFu7viZzGxkzj0HbGFMdmtTY3/6v1MoxuglyoNEOu2PKjKJMEEzK/nAyF5gzl1AJlWthdCRtTTRnafCo2BG/15HVoX9U9yw/XteZtEUcZzuAcLsGDBjThHlrgAwMBz/AKb45yXpx352PZWnKKmVP4I+fzB/3tjso=AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEeqx6MVjBdMW2lA22027dLMJuxOhhP4GLx4U8eoP8ua/cdvmoK0vLDy8M8POvGEqhUHX/XZKG5tb2zvl3cre/sHhUfX4pG2STDPus0QmuhtSw6VQ3EeBkndTzWkcSt4JJ3fzeueJayMS9YjTlAcxHSkRCUbRWj5qKtSgWnPr7kJkHbwCalCoNah+9YcJy2KukElqTM9zUwxyqlEwyWeVfmZ4StmEjnjPoqIxN0G+WHZGLqwzJFGi7VNIFu7viZzGxkzj0HbGFMdmtTY3/6v1MoxuglyoNEOu2PKjKJMEEzK/nAyF5gzl1AJlWthdCRtTTRnafCo2BG/15HVoX9U9yw/XteZtEUcZzuAcLsGDBjThHlrgAwMBz/AKb45yXpx352PZWnKKmVP4I+fzB/3tjso=AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEeqx6MVjBdMW2lA22027dLMJuxOhhP4GLx4U8eoP8ua/cdvmoK0vLDy8M8POvGEqhUHX/XZKG5tb2zvl3cre/sHhUfX4pG2STDPus0QmuhtSw6VQ3EeBkndTzWkcSt4JJ3fzeueJayMS9YjTlAcxHSkRCUbRWj5qKtSgWnPr7kJkHbwCalCoNah+9YcJy2KukElqTM9zUwxyqlEwyWeVfmZ4StmEjnjPoqIxN0G+WHZGLqwzJFGi7VNIFu7viZzGxkzj0HbGFMdmtTY3/6v1MoxuglyoNEOu2PKjKJMEEzK/nAyF5gzl1AJlWthdCRtTTRnafCo2BG/15HVoX9U9yw/XteZtEUcZzuAcLsGDBjThHlrgAwMBz/AKb45yXpx352PZWnKKmVP4I+fzB/3tjso=AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEeqx6MVjBdMW2lA22027dLMJuxOhhP4GLx4U8eoP8ua/cdvmoK0vLDy8M8POvGEqhUHX/XZKG5tb2zvl3cre/sHhUfX4pG2STDPus0QmuhtSw6VQ3EeBkndTzWkcSt4JJ3fzeueJayMS9YjTlAcxHSkRCUbRWj5qKtSgWnPr7kJkHbwCalCoNah+9YcJy2KukElqTM9zUwxyqlEwyWeVfmZ4StmEjnjPoqIxN0G+WHZGLqwzJFGi7VNIFu7viZzGxkzj0HbGFMdmtTY3/6v1MoxuglyoNEOu2PKjKJMEEzK/nAyF5gzl1AJlWthdCRtTTRnafCo2BG/15HVoX9U9yw/XteZtEUcZzuAcLsGDBjThHlrgAwMBz/AKb45yXpx352PZWnKKmVP4I+fzB/3tjso=AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEeqx6MVjBdMW2lA22027dLMJuxOhhP4GLx4U8eoP8ua/cdvmoK0vLDy8M8POvGEqhUHX/XZKG5tb2zvl3cre/sHhUfX4pG2STDPus0QmuhtSw6VQ3EeBkndTzWkcSt4JJ3fzeueJayMS9YjTlAcxHSkRCUbRWj5qKtSgWnPr7kJkHbwCalCoNah+9YcJy2KukElqTM9zUwxyqlEwyWeVfmZ4StmEjnjPoqIxN0G+WHZGLqwzJFGi7VNIFu7viZzGxkzj0HbGFMdmtTY3/6v1MoxuglyoNEOu2PKjKJMEEzK/nAyF5gzl1AJlWthdCRtTTRnafCo2BG/15HVoX9U9yw/XteZtEUcZzuAcLsGDBjThHlrgAwMBz/AKb45yXpx352PZWnKKmVP4I+fzB/3tjso=AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEeqx6MVjBdMW2lA22027dLMJuxOhhP4GLx4U8eoP8ua/cdvmoK0vLDy8M8POvGEqhUHX/XZKG5tb2zvl3cre/sHhUfX4pG2STDPus0QmuhtSw6VQ3EeBkndTzWkcSt4JJ3fzeueJayMS9YjTlAcxHSkRCUbRWj5qKtSgWnPr7kJkHbwCalCoNah+9YcJy2KukElqTM9zUwxyqlEwyWeVfmZ4StmEjnjPoqIxN0G+WHZGLqwzJFGi7VNIFu7viZzGxkzj0HbGFMdmtTY3/6v1MoxuglyoNEOu2PKjKJMEEzK/nAyF5gzl1AJlWthdCRtTTRnafCo2BG/15HVoX9U9yw/XteZtEUcZzuAcLsGDBjThHlrgAwMBz/AKb45yXpx352PZWnKKmVP4I+fzB/3tjso=AAAB73icbZBNS8NAEIYn9avWr6pHL8EieCqJCHosevFYwX5AG8pmO2mXbjZxdyKU0j/hxYMiXv073vw3btsctPWFhYd3ZtiZN0ylMOR5305hbX1jc6u4XdrZ3ds/KB8eNU2SaY4NnshEt0NmUAqFDRIksZ1qZHEosRWObmf11hNqIxL1QOMUg5gNlIgEZ2StNmmmTIS6V654VW8udxX8HCqQq94rf3X7Cc9iVMQlM6bjeykFE6ZJcInTUjczmDI+YgPsWFQsRhNM5vtO3TPr9N0o0fYpcufu74kJi40Zx6HtjBkNzXJtZv5X62QUXQcTodKMUPHFR1EmXUrc2fFuX2jkJMcWGNfC7uryIdOMk42oZEPwl09eheZF1bd8f1mp3eRxFOEETuEcfLiCGtxBHRrAQcIzvMKb8+i8OO/Ox6K14OQzx/BHzucPZC6QLw==AAAB73icbZBNS8NAEIYn9avWr6pHL8EieCqJCHosevFYwX5AG8pmO2mXbjZxdyKU0j/hxYMiXv073vw3btsctPWFhYd3ZtiZN0ylMOR5305hbX1jc6u4XdrZ3ds/KB8eNU2SaY4NnshEt0NmUAqFDRIksZ1qZHEosRWObmf11hNqIxL1QOMUg5gNlIgEZ2StNmmmTIS6V654VW8udxX8HCqQq94rf3X7Cc9iVMQlM6bjeykFE6ZJcInTUjczmDI+YgPsWFQsRhNM5vtO3TPr9N0o0fYpcufu74kJi40Zx6HtjBkNzXJtZv5X62QUXQcTodKMUPHFR1EmXUrc2fFuX2jkJMcWGNfC7uryIdOMk42oZEPwl09eheZF1bd8f1mp3eRxFOEETuEcfLiCGtxBHRrAQcIzvMKb8+i8OO/Ox6K14OQzx/BHzucPZC6QLw==AAAB73icbZBNS8NAEIYn9avWr6pHL8EieCqJCHosevFYwX5AG8pmO2mXbjZxdyKU0j/hxYMiXv073vw3btsctPWFhYd3ZtiZN0ylMOR5305hbX1jc6u4XdrZ3ds/KB8eNU2SaY4NnshEt0NmUAqFDRIksZ1qZHEosRWObmf11hNqIxL1QOMUg5gNlIgEZ2StNmmmTIS6V654VW8udxX8HCqQq94rf3X7Cc9iVMQlM6bjeykFE6ZJcInTUjczmDI+YgPsWFQsRhNM5vtO3TPr9N0o0fYpcufu74kJi40Zx6HtjBkNzXJtZv5X62QUXQcTodKMUPHFR1EmXUrc2fFuX2jkJMcWGNfC7uryIdOMk42oZEPwl09eheZF1bd8f1mp3eRxFOEETuEcfLiCGtxBHRrAQcIzvMKb8+i8OO/Ox6K14OQzx/BHzucPZC6QLw==AAAB7XicbVDLSgMxFL1TX7W+qi7dBIvgqsyIoMuiG5cV7APaoWTSTBubx5BkhDL0H9y4UMSt/+POvzHTzkJbD4QczrmXe++JEs6M9f1vr7S2vrG5Vd6u7Ozu7R9UD4/aRqWa0BZRXOluhA3lTNKWZZbTbqIpFhGnnWhym/udJ6oNU/LBThMaCjySLGYEWye1Mcm/QbXm1/050CoJClKDAs1B9as/VCQVVFrCsTG9wE9smGFtGeF0VumnhiaYTPCI9hyVWFATZvNtZ+jMKUMUK+2etGiu/u7IsDBmKiJXKbAdm2UvF//zeqmNr8OMySS1VJLFoDjlyCqUn46GTFNi+dQRTDRzuyIyxtpl4AKquBCC5ZNXSfuiHjh+f1lr3BRxlOEETuEcAriCBtxBE1pA4BGe4RXePOW9eO/ex6K05BU9x/AH3ucPtiWPNA==AAAB7XicbVDLSgMxFL1TX7W+qi7dBIvgqsyIoMuiG5cV7APaoWTSTBubx5BkhDL0H9y4UMSt/+POvzHTzkJbD4QczrmXe++JEs6M9f1vr7S2vrG5Vd6u7Ozu7R9UD4/aRqWa0BZRXOluhA3lTNKWZZbTbqIpFhGnnWhym/udJ6oNU/LBThMaCjySLGYEWye1Mcm/QbXm1/050CoJClKDAs1B9as/VCQVVFrCsTG9wE9smGFtGeF0VumnhiaYTPCI9hyVWFATZvNtZ+jMKUMUK+2etGiu/u7IsDBmKiJXKbAdm2UvF//zeqmNr8OMySS1VJLFoDjlyCqUn46GTFNi+dQRTDRzuyIyxtpl4AKquBCC5ZNXSfuiHjh+f1lr3BRxlOEETuEcAriCBtxBE1pA4BGe4RXePOW9eO/ex6K05BU9x/AH3ucPtiWPNA==AAAB7XicbVDLSgMxFL1TX7W+qi7dBIvgqsyIoMuiG5cV7APaoWTSTBubx5BkhDL0H9y4UMSt/+POvzHTzkJbD4QczrmXe++JEs6M9f1vr7S2vrG5Vd6u7Ozu7R9UD4/aRqWa0BZRXOluhA3lTNKWZZbTbqIpFhGnnWhym/udJ6oNU/LBThMaCjySLGYEWye1Mcm/QbXm1/050CoJClKDAs1B9as/VCQVVFrCsTG9wE9smGFtGeF0VumnhiaYTPCI9hyVWFATZvNtZ+jMKUMUK+2etGiu/u7IsDBmKiJXKbAdm2UvF//zeqmNr8OMySS1VJLFoDjlyCqUn46GTFNi+dQRTDRzuyIyxtpl4AKquBCC5ZNXSfuiHjh+f1lr3BRxlOEETuEcAriCBtxBE1pA4BGe4RXePOW9eO/ex6K05BU9x/AH3ucPtiWPNA==AAAB7XicbVDLSgMxFL1TX7W+qi7dBIvgqsyIoMuiG5cV7APaoWTSTBubx5BkhDL0H9y4UMSt/+POvzHTzkJbD4QczrmXe++JEs6M9f1vr7S2vrG5Vd6u7Ozu7R9UD4/aRqWa0BZRXOluhA3lTNKWZZbTbqIpFhGnnWhym/udJ6oNU/LBThMaCjySLGYEWye1Mcm/QbXm1/050CoJClKDAs1B9as/VCQVVFrCsTG9wE9smGFtGeF0VumnhiaYTPCI9hyVWFATZvNtZ+jMKUMUK+2etGiu/u7IsDBmKiJXKbAdm2UvF//zeqmNr8OMySS1VJLFoDjlyCqUn46GTFNi+dQRTDRzuyIyxtpl4AKquBCC5ZNXSfuiHjh+f1lr3BRxlOEETuEcAriCBtxBE1pA4BGe4RXePOW9eO/ex6K05BU9x/AH3ucPtiWPNA==AAAB7XicbVDLSgMxFL1TX7W+qi7dBIvgqsyIoMuiG5cV7APaoWTSTBubx5BkhDL0H9y4UMSt/+POvzHTzkJbD4QczrmXe++JEs6M9f1vr7S2vrG5Vd6u7Ozu7R9UD4/aRqWa0BZRXOluhA3lTNKWZZbTbqIpFhGnnWhym/udJ6oNU/LBThMaCjySLGYEWye1Mcm/QbXm1/050CoJClKDAs1B9as/VCQVVFrCsTG9wE9smGFtGeF0VumnhiaYTPCI9hyVWFATZvNtZ+jMKUMUK+2etGiu/u7IsDBmKiJXKbAdm2UvF//zeqmNr8OMySS1VJLFoDjlyCqUn46GTFNi+dQRTDRzuyIyxtpl4AKquBCC5ZNXSfuiHjh+f1lr3BRxlOEETuEcAriCBtxBE1pA4BGe4RXePOW9eO/ex6K05BU9x/AH3ucPtiWPNA==AAAB7XicbVDLSgMxFL1TX7W+qi7dBIvgqsyIoMuiG5cV7APaoWTSTBubx5BkhDL0H9y4UMSt/+POvzHTzkJbD4QczrmXe++JEs6M9f1vr7S2vrG5Vd6u7Ozu7R9UD4/aRqWa0BZRXOluhA3lTNKWZZbTbqIpFhGnnWhym/udJ6oNU/LBThMaCjySLGYEWye1Mcm/QbXm1/050CoJClKDAs1B9as/VCQVVFrCsTG9wE9smGFtGeF0VumnhiaYTPCI9hyVWFATZvNtZ+jMKUMUK+2etGiu/u7IsDBmKiJXKbAdm2UvF//zeqmNr8OMySS1VJLFoDjlyCqUn46GTFNi+dQRTDRzuyIyxtpl4AKquBCC5ZNXSfuiHjh+f1lr3BRxlOEETuEcAriCBtxBE1pA4BGe4RXePOW9eO/ex6K05BU9x/AH3ucPtiWPNA==AAAB+XicbZDLSgMxFIYz9VbrbdSlm2ARXJUZEXRZdONGqGgv0A4lkzltQzPJkGQKw9A3ceNCEbe+iTvfxrSdhbYeCHz8/znJyR8mnGnjed9OaW19Y3OrvF3Z2d3bP3APj1papopCk0ouVSckGjgT0DTMcOgkCkgccmiH49uZ356A0kyKJ5MlEMRkKNiAUWKs1Hfdx0yYERhGe/heRsD7btWrefPCq+AXUEVFNfruVy+SNI1BGMqJ1l3fS0yQE2Xv5DCt9FINCaFjMoSuRUFi0EE+33yKz6wS4YFU9giD5+rviZzEWmdxaDtjYkZ62ZuJ/3nd1Ayug5yJJDUg6OKhQcqxkXgWA46YAmp4ZoFQxeyumI6IItTYsCo2BH/5y6vQuqj5lh8uq/WbIo4yOkGn6Bz56ArV0R1qoCaiaIKe0St6c3LnxXl3PhatJaeYOUZ/yvn8AVcjk3M=AAAB+XicbZDLSgMxFIYz9VbrbdSlm2ARXJUZEXRZdONGqGgv0A4lkzltQzPJkGQKw9A3ceNCEbe+iTvfxrSdhbYeCHz8/znJyR8mnGnjed9OaW19Y3OrvF3Z2d3bP3APj1papopCk0ouVSckGjgT0DTMcOgkCkgccmiH49uZ356A0kyKJ5MlEMRkKNiAUWKs1Hfdx0yYERhGe/heRsD7btWrefPCq+AXUEVFNfruVy+SNI1BGMqJ1l3fS0yQE2Xv5DCt9FINCaFjMoSuRUFi0EE+33yKz6wS4YFU9giD5+rviZzEWmdxaDtjYkZ62ZuJ/3nd1Ayug5yJJDUg6OKhQcqxkXgWA46YAmp4ZoFQxeyumI6IItTYsCo2BH/5y6vQuqj5lh8uq/WbIo4yOkGn6Bz56ArV0R1qoCaiaIKe0St6c3LnxXl3PhatJaeYOUZ/yvn8AVcjk3M=AAAB+XicbZDLSgMxFIYz9VbrbdSlm2ARXJUZEXRZdONGqGgv0A4lkzltQzPJkGQKw9A3ceNCEbe+iTvfxrSdhbYeCHz8/znJyR8mnGnjed9OaW19Y3OrvF3Z2d3bP3APj1papopCk0ouVSckGjgT0DTMcOgkCkgccmiH49uZ356A0kyKJ5MlEMRkKNiAUWKs1Hfdx0yYERhGe/heRsD7btWrefPCq+AXUEVFNfruVy+SNI1BGMqJ1l3fS0yQE2Xv5DCt9FINCaFjMoSuRUFi0EE+33yKz6wS4YFU9giD5+rviZzEWmdxaDtjYkZ62ZuJ/3nd1Ayug5yJJDUg6OKhQcqxkXgWA46YAmp4ZoFQxeyumI6IItTYsCo2BH/5y6vQuqj5lh8uq/WbIo4yOkGn6Bz56ArV0R1qoCaiaIKe0St6c3LnxXl3PhatJaeYOUZ/yvn8AVcjk3M=AAAB8nicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OJFqGJtIQ1ls5m0SzfZsLsRSunP8OJBEa/+Gm/+G7dtDtr6wsLDOzPszBtmgmvjut9OaWV1bX2jvFnZ2t7Z3avuHzxqmSuGLSaFVJ2QahQ8xZbhRmAnU0iTUGA7HF5P6+0nVJrL9MGMMgwS2k95zBk11vLvkYouuZURil615tbdmcgyeAXUoFCzV/3qRpLlCaaGCaq177mZCcZUGc4ETirdXGNG2ZD20beY0gR1MJ6tPCEn1olILJV9qSEz9/fEmCZaj5LQdibUDPRibWr+V/NzE18GY55mucGUzT+Kc0GMJNP7ScQVMiNGFihT3O5K2IAqyoxNqWJD8BZPXobHs7pn+e681rgq4ijDERzDKXhwAQ24gSa0gIGEZ3iFN8c4L8678zFvLTnFzCH8kfP5A659kNk=AAAB8nicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OJFqGJtIQ1ls5m0SzfZsLsRSunP8OJBEa/+Gm/+G7dtDtr6wsLDOzPszBtmgmvjut9OaWV1bX2jvFnZ2t7Z3avuHzxqmSuGLSaFVJ2QahQ8xZbhRmAnU0iTUGA7HF5P6+0nVJrL9MGMMgwS2k95zBk11vLvkYouuZURil615tbdmcgyeAXUoFCzV/3qRpLlCaaGCaq177mZCcZUGc4ETirdXGNG2ZD20beY0gR1MJ6tPCEn1olILJV9qSEz9/fEmCZaj5LQdibUDPRibWr+V/NzE18GY55mucGUzT+Kc0GMJNP7ScQVMiNGFihT3O5K2IAqyoxNqWJD8BZPXobHs7pn+e681rgq4ijDERzDKXhwAQ24gSa0gIGEZ3iFN8c4L8678zFvLTnFzCH8kfP5A659kNk=AAAB8nicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OJFqGJtIQ1ls5m0SzfZsLsRSunP8OJBEa/+Gm/+G7dtDtr6wsLDOzPszBtmgmvjut9OaWV1bX2jvFnZ2t7Z3avuHzxqmSuGLSaFVJ2QahQ8xZbhRmAnU0iTUGA7HF5P6+0nVJrL9MGMMgwS2k95zBk11vLvkYouuZURil615tbdmcgyeAXUoFCzV/3qRpLlCaaGCaq177mZCcZUGc4ETirdXGNG2ZD20beY0gR1MJ6tPCEn1olILJV9qSEz9/fEmCZaj5LQdibUDPRibWr+V/NzE18GY55mucGUzT+Kc0GMJNP7ScQVMiNGFihT3O5K2IAqyoxNqWJD8BZPXobHs7pn+e681rgq4ijDERzDKXhwAQ24gSa0gIGEZ3iFN8c4L8678zFvLTnFzCH8kfP5A659kNk=1113880用于3D室内导航的模拟-真实联合强化迁移0† UTS-SUSTech联合研究中心，南方科技大学 § CAI，悉尼科技大学 ‡ 百度研究0摘要0对于3D室内导航，人们越来越感兴趣，其中一个机器人在环境中根据指令移动到目标位置。要在物理世界中部署机器人进行导航，需要大量的训练数据来学习有效的策略。获取足够的真实环境数据以进行机器人训练非常耗时，而通过渲染构建合成数据要容易得多。尽管利用合成环境来促进在真实世界中的导航训练很有前景，但真实环境与合成环境在两个方面存在差异。首先，两个环境的视觉表示具有显著差异。其次，两个环境的房屋平面图相当不同。因此，需要调整两种类型的信息，即视觉表示和策略行为，以适应强化模型。视觉表示的学习过程和策略行为的学习过程可能是相互影响的。我们提出了联合调整视觉表示和策略行为的方法，以利用环境和策略的相互影响。具体而言，我们的方法采用对抗性特征适应模型进行视觉表示转移，并采用策略模仿策略进行策略行为模仿。实验结果表明，我们的方法在没有任何额外人工注释的情况下比基线方法提高了21.73%。01. 引言0自主室内导航是一个问题，其中机器人根据指令在建筑物（如房屋、办公室和院子）内导航到目标位置。这个任务将有益于许多应用，其中机器人接管人类的工作，例如清洁房屋、快递递送和巡逻。解决3D环境中的室内导航问题0本工作的部分内容是在YiYang在其职业体验计划期间访问百度研究时完成的。通讯作者：Yi Yang。0丰富的合成环境0真实环境不足0训练0训练0转移0动作0动作0合成模型0真实模型0图1.这个图示了从合成模型（上）到真实模型（下）的知识转移的一般框架。在测试中，两个模型接收图像并预测动作（向左转、向右转或向前）以在环境中导航。0是这些移动机器人应用在真实世界场景中的基础。早期的工作采用了包括行为克隆[3]和DAGGER[30]在内的模仿学习方法来进行3D导航任务。这些方法训练机器人模仿专家，如室内导航中的最短路径。这些方法会导致过度优化，抑制了更大范围的近似最优解。基于演员-评论家的深度强化学习方法，如A3C[25]和UNREAL[20]在最近的研究中被广泛使用[27, 44, 40,34]。这些端到端方法的优势在于将代理和状态空间离散化[48]，并为规划探索显式的地图表示[24]。在许多任务中，如Atari视频游戏、围棋[26,35]、机器人控制[10]、自动驾驶[33]和导航[40]，深度强化学习（RL）取得了令人瞩目的进展。然而，将强化学习应用于物理环境是困难的，因为对于训练机器人来说，采样大量的回合非常耗时，甚至不可能。因此，最近的研究将重点放在在模拟环境中学习策略的RL模型上，而不是在物理世界中解决这个问题[40,34]。有两种类型的环境可以用来训练机器人。第一种是渲染的合成环境。一个代表性的工作是SUNCG[36]，113890它从单视图深度图观察中产生一个3D体素表示。第二个是重建环境，如Matterport3D[5]，它由Matterport相机拍摄的真实图像组成。然而，仅使用Matterport3D数据集进行训练的一个问题是场景的多样性不足。SUNCG数据集[36]包含超过45,622个具有可自定义布局和纹理的合成室内3D场景，而Matterport3D[5]仅包含90个房屋。缺乏训练房屋和场景可能会严重影响性能，因为会出现过拟合。相反，使用SUNCG数据集训练的模型更能够推广到未见过的场景。在本文中，我们提出了一个联合框架，即联合强化转移（JRT），来解决真实环境中缺乏训练数据的问题。我们的前提是合成训练数据比真实数据更容易和更便宜获得。如图1所示，我们的算法将对抗特征适应和策略模仿集成到一个联合框架中。对抗特征适应和策略模仿的联合学习使它们相互受益和互惠。这样，特征适应和策略模仿紧密相关。对抗特征适应不仅能够生成更适合真实环境的表示，而且更适合策略模仿。将视觉特征从合成域转移到真实域是直观的，这样我们可以直接采用从合成环境中学到的知识而不改变策略函数。这种方法，也称为领域适应，在许多任务中广泛应用[22, 32, 43, 23, 9,38]。受到对抗性判别领域适应思想的启发，我们使用对抗性损失来监督我们的转移训练过程。与像CycleGan[45]这样的图像翻译方法不同，后者直接使用GAN [13, 15,4,47]将视觉图像进行转换，我们的方法省略了生成目标图像和提取目标域特征的冗余步骤。因此，我们的模型在框架上更简单，模型参数更少，易于收敛。此外，可以在合成环境上训练的教师的监督下调整策略。我们的动机有两个方面。首先，真实环境的布局与合成环境并不完全相同。如图2所示，真实环境的房屋有更多的房间和更多的房间之间的连接，这意味着更复杂的结构。其次，合成场景中学到的一些知识，如找到门和绕过障碍物，在真实环境导航中也是有帮助的。因此，我们提出了我们的联合强化转移（JRT）来将这两个训练阶段整合在一起。我们的实验结果表明，这种联合方法的性能优于基线方法，而无需任何额外的人工注释。0SUNCG房屋0Matterport3D房屋0图2.这个图显示了SUNCG数据集和Matterport3D数据集的不同房屋平面图。SUNCG中的房屋更小，布局更简单。与此同时，Matterport3D中的房屋有更多的房间，房屋平面更复杂。0通过定性地可视化两种适应方法的结果，我们展示了这两部分相互增强，以有利于现实世界的导航。02. 相关工作0所提出的工作与将在虚拟环境中训练的强化策略转移到真实环境中相关。在本节中，我们简要回顾了与我们的主题高度相关的3D导航、室内环境、领域适应和策略转移的几种方法。3D室内环境对室内强化环境的兴趣日益增长。House3D[40]是一个手动创建的大规模环境。AI2-THOR[21]是一个可交互的合成室内环境。代理可以与一些可交互的对象进行交互，如打开抽屉或拿起雕像。CHALET[42]是另一个具有更大交互动作空间的可交互合成室内环境。最近的工作倾向于基于真实图像的模拟环境。然而，与虚拟数据集相比，这些数据集的规模相当小。ActiveVision数据集[42]由16个不同房屋的密集扫描组成。Matterport3D[5]是一个更大的多层环境。Minos是一个跨领域环境，包括House3D和Matterport3D。MINOS提供了两个环境的类似设置，这对于我们的环境转移实验非常方便。领域适应领域适应问题已经得到广泛研究，并在不同的视觉应用场景中出现，如图像分类[22,32]、目标检测[43]和动作识别[11]。之前的工作，如[19,14]使用最大均值差异（MMD）[29]损失来最小化源特征分布和目标特征分布之间的差异。MMD计算两个域中数据分布的差异。参数适应,113900另一种早期方法在[43，9，17]中使用，类似于在源域上训练的SVM分类器进行适应。相比之下，最近的工作将对抗方法引入到领域适应中。生成对抗网络（GAN）[13]让生成器G和鉴别器D相互竞争，因为其在学习和泛化数据分布方面具有强大的能力，所以被广泛应用。梯度反转[12]通过反转鉴别器的梯度直接优化映射。为了更进一步，对抗鉴别性领域适应[38]使用通过对抗损失优化的目标生成模型来学习源特征分布。该方法可以更好地建模低层特征的差异。有一些工作[16，41]专注于合成到真实的视觉图像转换，最近提出了一个名为VisDA的基准[28]。策略转移一些工作已经明确研究了在不同方式的强化学习场景中的行动策略转移。Hinton等人提出了网络蒸馏的方法，使用学生模型学习教师模型的输出分布。策略蒸馏[31]使用这种方法在基于DQN算法的两个环境之间转移知识。面向目标的视觉导航[48]是一种更好地推广到新目标而不是新环境场景的模型。语义目标驱动导航[27]仅基于检测和分割结果学习策略，因此模型可以轻松地转移到未知环境。03. 模型03.1. 基准设置0我们在房间目标导航任务中展示了基于增强模型转移的方法。在我们的方法之前，我们将首先在标准增强设置框架下介绍我们的一般模型。根据部分可观察的马尔可夫决策过程（POMDP），我们可以将我们的问题形式化为（S，A，O，P，R）。代理从初始状态s ∈S开始，该状态是代理的姿势，即位置方向对。动作a ∈A是一组预定义的离散动作。观察空间是多模态感知输入空间的并集，例如RGB图像、深度图像和力O = {O rgb，Odepth，O force ...}。概率状态-动作转移函数表示为p(s i+1 | s i，ai)。奖励R(s，a)是与目标的欧几里德距离和归一化时间相关的函数[34]。LSTM A3C LSTMA3C是异步优势演员-评论家算法的一般模型。与仅基于当前观察的前馈A3C策略相比，LSTMA3C引入了时间经验以实现更好的性能。LSTMA3C从用作卷积网络的开始0视觉嵌入模块0f  =  CNN(O)0f代表当前观察的视觉特征。从步骤0到当前步骤t的视觉特征序列写为f seq = {f 0，f 1，...，ft}。同时，我们有一个目标g来指示代理需要去哪个房间。通过嵌入层，g被编码为语义特征向量g emb：0g emb  =  G emb(g)0然后将每个步骤的视觉特征和目标嵌入连接起来，输入到（长短期记忆）LSTM单元进行时间编码0h t  =  LSTM([f t, g emb], h t − 1)0其中f t是当前步骤的视觉特征，ht是LSTM输出向量，编码从步骤0到t的历史信息。请注意，为了方便起见，我们简化了记忆单元的传播。按照演员-评论家的架构，我们有一个策略模块a = π(a | ht)来预测正在进行的动作的分布，以及一个值v = V(ht)来预测该状态的值。A3C基准的损失函数定义为0L A 3 C = - logπ ( a | h t ; θ )( R t - V ( h t ; θ )) - H ( π ( a | h t ; θ ))0其中，H ( π ( s t ; θ ))表示策略的熵。我们最大化这一项以鼓励探索。UNREALUNREAL是A3C的高级版本，提供了几个无监